Airflow XCom · TaskFlow API: 태스크 사이로 데이터 흘리기
격리된 프로세스에서 도는 Airflow 태스크 사이로 데이터를 넘기는 XCom의 push/pull 메커니즘과 크기 한계, @task 데코레이터로 XCom을 암묵화하는 TaskFlow API, 그리고 큰 데이터는 외부 스토리지에 쓰고 참조만 넘기는 패턴과 custom XCom backend까지 다룹니다.
태그: taskflow
'taskflow' 태그가 포함된 1개의 포스트