Pinterest Engineering 블로그의 "Metrics Board: Building an Agent-ready Metrics Layer"를 분석한다. 메트릭을 한 번 정의하면 계산·품질 검증·배포·탐색이 자동으로 따라오는 '얇은 시맨틱 레이어'의 다섯 기둥과, 사람을 위한 신뢰 작업이 곧 에이전트를 위한 기반이 된다는 핵심 주장을 정리한다.
우아한 객체·링크 모델도 실제 데이터와 이어지지 않으면 그림일 뿐입니다. 파이프라인 산출물인 백킹 데이터셋을 객체 타입의 물리적 뒷받침으로 삼는 속성 매핑, 여러 소스에 흩어진 같은 실체를 하나의 객체로 묶는 엔티티 해소(결정적·확률적 매칭, 매칭 신뢰도, 골든 레코드), 그리고 중복·불일치·누락이라는 지저분한 현실 위에서 신뢰할 만한 객체 그래프를 ...
Pivotal(Abraham Thomas)의 'On Data Quality (1): Basics'를 분석한다. 데이터 품질은 내재된 속성이 아니라 유스케이스에 따라 창발하는 현상이며, 세분·집합·목적적합·비즈니스가치라는 4단 사다리로 이해해야 한다는 프레임워크를 정리하고 실무적 함의를 짚는다.
내장 제네릭 테스트 4종이 컴파일되는 SQL부터 커스텀 테스트·severity 설정, docs 블록과 데이터 카탈로그, ref가 만든 lineage 그래프와 exposure까지 — '이 숫자를 믿어도 되는가'에 코드로 답하는 dbt의 테스트·문서화 체계를 해부합니다.
품질 차원과 검증(Great Expectations·dbt tests·데이터 계약), 리니지·카탈로그(DataHub·OpenMetadata), 그리고 관측가능성의 5축(신선도·볼륨·스키마·분포·리니지)을 통해 '파이프라인이 돈다 ≠ 데이터가 맞다'는 간극을 어떻게 메우는지 다룹니다.
