오케스트레이션(Orchestration): DAG·스케줄링과 견고한 파이프라인
수많은 데이터 작업을 DAG로 모델링하고 의존성·스케줄에 따라 실행하는 오케스트레이션의 원리, Airflow와 Dagster·Prefect의 철학 차이, 그리고 멱등성·재시도·백필·체크포인트로 견고한 파이프라인을 만드는 법을 다룹니다.
개발 학습 기록과 기술 지식을 체계적으로 관리하는 개인 위키입니다.
'airflow' 태그가 포함된 1개의 포스트