태그: cdc

Kafka Connect: CDC · Debezium으로 시스템 잇기

2026년 07월 15일

kafka data-engineering kafka-connect cdc debezium

프로듀서·컨슈머를 매번 직접 짜는 대신, 선언적 설정만으로 외부 시스템과 Kafka를 잇는 Kafka Connect를 파고듭니다. worker·connector·task의 분산 실행 모델, Debezium이 PostgreSQL WAL·MySQL binlog를 읽어 변경 이벤트로 바꾸는 로그 기반 CDC의 원리, 그리고 replication slot 방...

사례별 파이프라인 설계: 실시간 분석·이벤트·ML 피처·CDC

2026년 06월 25일

data-engineering data-pipeline real-time feature-store cdc

실시간 분석·로그/이벤트·ML 피처·CDC 리포팅이라는 네 가지 대표 시나리오를 요구사항(지연·정확성·규모) → 설계(수집·저장·처리·오케스트레이션 선택) → 트레이드오프의 순서로 풀어, 앞 단계에서 배운 개념을 실제 파이프라인 설계로 연결합니다.

데이터 수집(Ingestion): 배치·스트리밍·CDC와 수집 도구

2026년 06월 25일

data-engineering data-ingestion cdc kafka streaming

원천에서 데이터를 가져오는 수집 단계 — 배치 vs 스트리밍의 트레이드오프, 로그 기반 vs 쿼리 기반 CDC, Kafka·Kinesis 같은 스트리밍 플랫폼의 버퍼·디커플링 역할, 그리고 Airbyte·Fivetran 같은 수집 도구의 build vs buy 판단까지 다룹니다.