SQS + Lambda + Valkey + SSE 기반 상품 크롤링 워크플로우 설계
상품 링크만으로 위시리스트를 등록하는 기능을 만들고 싶었지만, 이를 구현하는 과정에서는 크롤링과 상태 전달 문제를 함께 해결해야 했다. 이 글에서는 상품 링크 기반 자동 등록 기능을 구현하면서 마주한 제약과, 이를 해결하기 위해 구성한 비동기 크롤링 아키텍처를 설명한다. 프로젝트 ...
Tag
선택한 태그가 붙은 개발 기록입니다.
상품 링크만으로 위시리스트를 등록하는 기능을 만들고 싶었지만, 이를 구현하는 과정에서는 크롤링과 상태 전달 문제를 함께 해결해야 했다. 이 글에서는 상품 링크 기반 자동 등록 기능을 구현하면서 마주한 제약과, 이를 해결하기 위해 구성한 비동기 크롤링 아키텍처를 설명한다. 프로젝트 ...
AWS에는 파일을 업로드하고 가져올 수 있는 S3라는 서비스가 있습니다. 이미지 같은 파일을 올려 웹페이지에 보여주거나, 간단한 파일 공유 서비스를 만드는데 널리 쓰이죠. 그런데 얼마전, 이 S3 서비스에서 버킷 이름만 알면 누구나 쓰기 요청을 보내 요금 폭탄을 맞게 할 수 있는 ...