Data Engineering Weekly의 Ananth Packkildurai가 쓴 'The Self-Organizing Data Stack'을 분석한다. 파이프라인 DAG를 사람이 그리는 입력에서 오케스트레이션 엔진이 유지하는 출력으로 뒤집자는 패러다임 전환을, 위키의 Data-Engineering·dbt·Airflow·Lakehouse·Ontol...
여러 팀이 오래 공유하는 로그에서 데이터의 형태는 곧 시스템 간 계약입니다. 스키마를 중앙에 등록하고 메시지에는 매직 바이트 + 스키마 ID만 실어 보내는 Schema Registry의 wire format과 serializer 흐름, Avro/Protobuf/JSON Schema 비교와 reader/writer 스키마 해석, 그리고 BACKWARD/...
품질 차원과 검증(Great Expectations·dbt tests·데이터 계약), 리니지·카탈로그(DataHub·OpenMetadata), 그리고 관측가능성의 5축(신선도·볼륨·스키마·분포·리니지)을 통해 '파이프라인이 돈다 ≠ 데이터가 맞다'는 간극을 어떻게 메우는지 다룹니다.
