Flink exactly-once: 전달 보장 3종·2PC 트랜잭셔널 싱크·end-to-end 정확성

flink stream-processing exactly-once two-phase-commit durability
Stream-Processing-Essential 시리즈의 4단계. '장애가 나도 결과가 정확한가'에 답하는 단계입니다. 정확성 없는 스트림 처리는 재처리가 불가능해 비즈니스 손실로 직결됩니다. at-most-once·at-least-once·exactly-once 세 가지 전달 의미를 실패 시나리오로 해부하고, 'exactly-once 처리(oper...

Kafka 전달 보장: at-least-once · exactly-once · 멱등 프로듀서 · 트랜잭션

kafka data-engineering exactly-once transactions
Kafka에서 가장 자주 오해되는 주제, 전달 보장을 파고듭니다. '유실 없음'과 '중복 없음'을 분리해 at-most-once·at-least-once·exactly-once 세 전달 의미를 실패 시나리오로 해부하고, 멱등 프로듀서(PID·시퀀스 번호)가 재시도 중복을 걸러내는 원리와 그 한계, 그리고 트랜잭션(transactional.id·send...