Airflow 백필 · Catchup · 멱등: 재실행해도 안전한 파이프라인
Airflow의 시간 모델인 논리적 실행 구간(data interval)을 뿌리부터 이해하고, catchup·backfill로 과거 구간을 다시 채우는 법과 그 재실행이 데이터를 오염시키지 않도록 태스크를 멱등하게 설계하는 패턴(파티션 덮어쓰기·업서트·결정적 경로)을 하나의 설계 원칙으로 꿰어냅니다.
개발 학습 기록과 기술 지식을 체계적으로 관리하는 개인 위키입니다.
'backfill' 태그가 포함된 1개의 포스트