Airflow 백필 · Catchup · 멱등: 재실행해도 안전한 파이프라인
Airflow의 시간 모델인 논리적 실행 구간(data interval)을 뿌리부터 이해하고, catchup·backfill로 과거 구간을 다시 채우는 법과 그 재실행이 데이터를 오염시키지 않도록 태스크를 멱등하게 설계하는 패턴(파티션 덮어쓰기·업서트·결정적 경로)을 하나의 설계 원칙으로 꿰어냅니다.
모든 포스트
전체 344개의 출정 기록을 최신순으로 — 181–200번째 (10 / 18쪽)
Airflow 센서 · Deferrable 오퍼레이터: 외부 상태를 효율적으로 기다리기
파일 도착·외부 잡 종료 같은 외부 상태를 기다리는 센서의 poke/reschedule 모드부터, 대기를 triggerer의 비동기 이벤트 루프로 넘겨 워커 슬롯을 해방하는 deferrable 오퍼레이터까지 — '기다림'을 자원 낭비 없이 설계하는 법을 다룹니다.
Airflow XCom · TaskFlow API: 태스크 사이로 데이터 흘리기
격리된 프로세스에서 도는 Airflow 태스크 사이로 데이터를 넘기는 XCom의 push/pull 메커니즘과 크기 한계, @task 데코레이터로 XCom을 암묵화하는 TaskFlow API, 그리고 큰 데이터는 외부 스토리지에 쓰고 참조만 넘기는 패턴과 custom XCom backend까지 다룹니다.
Airflow 스케줄러 · Executor 내부: 무엇이 언제 task를 실행하는가
DAG processor의 파싱·직렬화부터 스케줄러의 스케줄링 루프, Local·Celery·Kubernetes Executor의 아키텍처와 선택 기준, 그리고 task 상태 전이·재시도·zombie까지 — 'DAG가 안 돈다'를 구조적으로 진단할 수 있는 Airflow 실행 내부를 해부합니다.
Airflow DAG · 오퍼레이터 · 태스크: 파이프라인을 코드로 선언하기
Airflow의 출발점인 DAG·오퍼레이터·태스크를 파고듭니다. 파이프라인을 방향성 비순환 그래프로 모델링하는 이유, 오퍼레이터(템플릿)와 태스크(인스턴스)의 관계와 의존성 정의, 그리고 파이프라인을 파이썬 코드로 선언하는 configuration as code 철학과 동적 DAG 생성까지 다룹니다.
Stream Processing Essential Curriculum (Apache Flink) — 스트림 처리 심화 커리큘럼
Data-Engineering-Essential 오버뷰의 '처리' 단계에서 개념만 소개한 이벤트 시간·워터마크·윈도잉을 Apache Flink 중심으로 파고드는 심화 스핀오프. 스트림 처리 모델부터 이벤트 시간·워터마크, 상태·체크포인트, exactly-once, 윈도잉·조인·CEP, Flink SQL까지 6단계로 정복하는 학습 로드맵입니다. 도장깨기...
Spark Essential Curriculum
Data-Engineering-Essential 오버뷰의 '처리' 단계에서 예고된 Apache Spark 심화 스핀오프. 아키텍처(Driver/Executor)부터 RDD/DataFrame/Dataset, Catalyst·Tungsten, 셔플·튜닝, Structured Streaming, PySpark 실무, Iceberg/Delta 연동까지 7단계...
Lakehouse Essential Curriculum (Apache Iceberg) — 레이크하우스 에센셜 커리큘럼
Data-Engineering-Essential 오버뷰의 '저장' 단계에서 개념만 소개한 오픈 테이블 포맷을 Apache Iceberg 중심으로 파고드는 심화 스핀오프. 문제의식부터 메타데이터·매니페스트 구조, ACID·스냅샷·시간여행, 파티션/스키마 진화, compaction·유지보수, REST Catalog·거버넌스, 그리고 Iceberg vs D...
Kafka Essential Curriculum: 분산 로그부터 스트림 처리까지
Data-Engineering-Essential 오버뷰의 '수집' 단계에서 예고된 Apache Kafka 심화 스핀오프. 분산 로그·토픽·파티션부터 프로듀서/컨슈머, 전달 보장(exactly-once), Kafka Connect(CDC), Schema Registry, Kafka Streams까지 6단계로 정복하는 학습 로드맵입니다. 도장깨기 방식으로...
dbt Essential Curriculum: 애널리틱스 엔지니어링 심화 로드맵
Data-Engineering-Essential 오버뷰의 '처리' 단계에서 예고된 dbt(변환·애널리틱스 엔지니어링) 심화 스핀오프. 모델·ref·소스부터 테스트·문서화, 매크로·Jinja, incremental·snapshot, 패키지·CI, 세만틱 레이어까지 6단계로 정복하는 학습 로드맵입니다. 도장깨기 방식으로 진행 상황을 추적합니다.
Airflow Essential Curriculum: 파이프라인 오케스트레이션 정복
Data-Engineering-Essential 오버뷰의 '오케스트레이션' 단계에서 예고된 Apache Airflow 심화 스핀오프. DAG·오퍼레이터·태스크부터 스케줄러/Executor 내부, XCom·TaskFlow, 센서·deferrable, 백필·catchup·멱등, K8s 배포·운영까지 6단계로 정복하는 학습 로드맵입니다. 도장깨기 방식으로 ...
tmux 안의 Claude Code 함대를 지휘하기 — craftzdog의 tmux-claude-session-manager
Inkdrop 개발자 Takuya Matsuyama(craftzdog)가 만든 tmux 플러그인 tmux-claude-session-manager를 GitHub 저장소와 제작자의 데모 영상(14분)을 함께 놓고 분석한다. 여러 프로젝트에 걸쳐 도는 Claude Code 세션들을 fzf 피커 하나로 나열하고, working/waiting/idle 상태를...
월 20달러 스택으로 여러 개의 $10K MRR 회사를 굴리는 법 (Steve Hanov)
Steve Hanov가 stevehanov.ca에 쓴 'How I run multiple $10K MRR companies on a $20/month tech stack'를 분석한다. VC 없이 흑자 SaaS를 굴리는 그의 실제 스택 — VPS·Go·로컬 GPU·OpenRouter·Copilot·SQLite — 과 '비용을 0에 가깝게'라는 부트스트래...
당신의 '모르는 것'을 찾아라 — Claude Fable와 함께 일하는 필드 가이드 (Thariq Shihipar, Anthropic)
Anthropic의 Thariq Shihipar가 쓴 'A field guide to Claude Fable 5: Finding your unknowns'를 정리·분석한다. 코딩 에이전트의 작업 품질을 가로막는 병목은 이제 모델이 아니라 '내가 무엇을 모르는지 명확히 하는 능력'이라는 주장과, 구현 전·중·후에 걸쳐 그 unknowns를 값싸게 발굴하...
npm을 흔든 공급망 공격: debug·chalk 등 18개 패키지가 암호화폐 탈취 코드에 감염되다
Aikido Security의 'npm debug and chalk packages compromised'를 분석·정리한다. 주간 다운로드를 합치면 20억 회에 이르는 debug·chalk 등 18개 npm 패키지가, 피싱으로 탈취된 메인테이너 계정을 통해 브라우저에서 암호화폐 지갑 주소를 바꿔치기하는 악성코드에 감염된 사고의 전말과 대응법을 정리한다.
"디자인 패턴" 소리 한 번만 더 들으면 미쳐버릴 것 같다 — 패턴이라는 용어를 향한 반론 (purplesyringa)
purplesyringa의 'If I hear design pattern one more time, I'll go mad'(2025-09-04)를 정리·분석한다. 'Command 패턴은 그냥 함수'라는 도발로 시작해, 패턴이라는 용어가 코드를 밝혀주기보다 인지 부담과 번역 단계만 늘린다고 주장하는 글이다. 패턴 자체를 부정하는 게 아니라, 패턴을 '따...
팀이 성공해야 개인이 성공한다 — 강한 팀은 오래 앉아 있어서 만들어지지 않는다
w0nder.land의 '팀이 성공해야 개인이 성공한다'를 정리·분석한다. '직원들이 끝까지 밀어붙이지 않는다'는 흔한 불만의 해법이 왜 야근·압박이 아니라 '개인 동기 정렬'과 '공동 책임'이라는 두 축의 구조 설계인지를, 리더 관점에서 다룬다.
위로가 아니라 옆으로 — LLM이 가져온 새로운 추상화의 본질 (Martin Fowler)
Martin Fowler의 'LLMs bring new nature of abstraction'(2025-06-24)을 정리·분석한다. assembler에서 고급 언어로의 도약처럼 LLM도 추상화의 층을 올리지만, 이번엔 '위로'만이 아니라 '옆으로' — 비결정성(non-determinism)으로 — 움직인다는 관찰을 통해 프로그래밍의 수준이 아니라 ...
짧은 목줄(Short Leash) 방법 — AI 코딩 에이전트를 통제하며 고품질 코드를 만드는 법 (Greg Slepak)
okTurtles의 Greg Slepak이 쓴 'The Short Leash AI Coding Method For Beating Fable'(2026-07-02)를 정리·분석한다. '오케스트레이터 뒤에 12개 에이전트를 굴리고 개발자는 해변에 눕는' 바이브 접근을 정면으로 거부하고, 프론티어 모델조차 못 내는 품질을 전문가가 AI를 '짧은 목줄'에 매...
IDE의 죽음? — 편집기에서 '에이전트 오케스트레이터'로 옮겨 가는 개발의 중심 (Addy Osmani)
Addy Osmani가 Elevate(Substack)에 쓴 'Death of the IDE?'(2026-03-20)를 정리·분석한다. IDE는 죽는 게 아니라 '중심에서 밀려난다'는 주장 — 개발의 주 무대가 한 줄씩 코드를 편집하는 편집기에서, 병렬 에이전트를 계획·위임·검토·통제하는 '컨트롤 플레인(오케스트레이션 레이어)'으로 옮겨 가고 있다는 ...