Kafka1 [Debezium] PostgreSQL to ElasticSearch CDC 기존에는 PostgreSQL에서 진짜 한계까지 쥐어짜서 QueryDSL로 통계 쿼리를 작성했었다.근데 배치 처리도 너무 힘들고 쿼리 온몸 비틀기를 하다보니 너무 짜증나서 ElasticSearch를 도입하기로 했다. 그런데 기존에 PostgreSQL에 있는 360만개의 Row는 어떻게 ElasticSearch로 옮기고 관리할지 고민을 해보았는데 나온 결론이 PostgreSQL -> Debezium -> Kafka Connect -> ElasticSearch 순으로 데이터를 옮기기로 했다. 조건기존 360만개의 Row도 옮겨져야함 (initial 모드로 가능)기존 DB가 업데이트되면, ElasticSearch도 반영되어야함 (CDC 캡쳐로 가능)JSONB도 매핑이 되어야함 (커스텀 SMT로 가능)Spring.. 2025. 4. 21. 이전 1 다음
