홈 | Orc Hwang’s Wiki

최근 출정 기록

Airflow 배포와 운영: KubernetesExecutor · 모니터링 · 로깅

2026년 07월 13일

Airflow를 프로덕션에 올리는 마지막 단계 — 스케줄러·웹서버·triggerer·메타데이터 DB의 배포 구성과 KubernetesExecutor의 task-per-pod 실행, 원격 로깅·메트릭·SLA 경보, 그리고 Secrets 관리·스케줄러 HA·장애 대응까지 운영 견고성의 전부를 다룹니다.

Airflow 백필 · Catchup · 멱등: 재실행해도 안전한 파이프라인

2026년 07월 13일

airflow data-engineering backfill idempotency

Airflow의 시간 모델인 논리적 실행 구간(data interval)을 뿌리부터 이해하고, catchup·backfill로 과거 구간을 다시 채우는 법과 그 재실행이 데이터를 오염시키지 않도록 태스크를 멱등하게 설계하는 패턴(파티션 덮어쓰기·업서트·결정적 경로)을 하나의 설계 원칙으로 꿰어냅니다.

Airflow 센서 · Deferrable 오퍼레이터: 외부 상태를 효율적으로 기다리기

2026년 07월 13일

airflow data-engineering sensor deferrable

파일 도착·외부 잡 종료 같은 외부 상태를 기다리는 센서의 poke/reschedule 모드부터, 대기를 triggerer의 비동기 이벤트 루프로 넘겨 워커 슬롯을 해방하는 deferrable 오퍼레이터까지 — '기다림'을 자원 낭비 없이 설계하는 법을 다룹니다.

Airflow XCom · TaskFlow API: 태스크 사이로 데이터 흘리기

2026년 07월 13일

airflow data-engineering xcom taskflow

격리된 프로세스에서 도는 Airflow 태스크 사이로 데이터를 넘기는 XCom의 push/pull 메커니즘과 크기 한계, @task 데코레이터로 XCom을 암묵화하는 TaskFlow API, 그리고 큰 데이터는 외부 스토리지에 쓰고 참조만 넘기는 패턴과 custom XCom backend까지 다룹니다.

Airflow 스케줄러 · Executor 내부: 무엇이 언제 task를 실행하는가

2026년 07월 13일

airflow data-engineering scheduler executor

DAG processor의 파싱·직렬화부터 스케줄러의 스케줄링 루프, Local·Celery·Kubernetes Executor의 아키텍처와 선택 기준, 그리고 task 상태 전이·재시도·zombie까지 — 'DAG가 안 돈다'를 구조적으로 진단할 수 있는 Airflow 실행 내부를 해부합니다.