SQS + Lambda + Valkey + SSE 기반 상품 크롤링 워크플로우 설계
상품 링크만으로 위시리스트를 등록하는 기능을 만들고 싶었지만, 이를 구현하는 과정에서는 크롤링과 상태 전달 문제를 함께 해결해야 했다. 이 글에서는 상품 링크 기반 자동 등록 기능을 구현하면서 마주한 제약과, 이를 해결하기 위해 구성한 비동기 크롤링 아키텍처를 설명한다. 프로젝트 ...
Tag
선택한 태그가 붙은 개발 기록입니다.
상품 링크만으로 위시리스트를 등록하는 기능을 만들고 싶었지만, 이를 구현하는 과정에서는 크롤링과 상태 전달 문제를 함께 해결해야 했다. 이 글에서는 상품 링크 기반 자동 등록 기능을 구현하면서 마주한 제약과, 이를 해결하기 위해 구성한 비동기 크롤링 아키텍처를 설명한다. 프로젝트 ...
AWS에는 파일을 업로드하고 가져올 수 있는 S3라는 서비스가 있습니다. 이미지 같은 파일을 올려 웹페이지에 보여주거나, 간단한 파일 공유 서비스를 만드는데 널리 쓰이죠. 그런데 얼마전, 이 S3 서비스에서 버킷 이름만 알면 누구나 쓰기 요청을 보내 요금 폭탄을 맞게 할 수 있는 ...
안녕하세요. 호시 입니다. 이번 UMC 프로젝트에서 인증 시스템을 구현하며 겪었던 깊은 고민과 이를 해결한 과정을 공유해보고자 합니다. 대부분의 서비스에서 사용하는 JWT 인증 방식은 상태 비저장(Stateless)라는 강력한 장점을 가지고 있지만, 이러한 특징으로 인해서 ‘중복 ...
프로젝트 마감 1주일 정도를 앞두고, 기존에 보류했던 ‘알림’ 기능을 급하게 구현해야하는 상황에 놓였습니다. 그러나 일부 데이터 검증 로직에 의해 다른 도메인과의 의존성 문제가 발생하여 아키텍처를 훼손할 위험이 존재했었습니다. 이글에서는 제가 기존코드를 가능한 오염시키지 않으면서 ...