Stream-Processing-Essential 시리즈의 4단계. '장애가 나도 결과가 정확한가'에 답하는 단계입니다. 정확성 없는 스트림 처리는 재처리가 불가능해 비즈니스 손실로 직결됩니다. at-most-once·at-least-once·exactly-once 세 가지 전달 의미를 실패 시나리오로 해부하고, 'exactly-once 처리(oper...
Stream-Processing-Essential 시리즈의 3단계. 스트림 처리가 '지금까지 본 것'을 기억해야 하는 이유 — 집계·조인·중복 제거·CEP 모두 상태가 있다 — 를 짚고, 상태의 두 분류(keyed state의 Value/List/Map/Reducing/AggregatingState와 operator state의 Raw/List/Uni...
Stream-Processing-Essential 시리즈의 2단계. 1단계가 잡은 무한 스트림의 실행 모델 위에 '시간의 기준'을 얹습니다. 처리 시간이 아닌 이벤트 시간을 써야 하는 이유 — 재처리·백필·장애 복구에서도 결과가 일관되는가 — 를 짚고, 워터마크가 '이 시각까지의 데이터는 사실상 다 왔다'는 단조 증가 선언이라는 점을 깊게 다룹니다. ...
Stream-Processing-Essential 시리즈의 1단계. 배치가 다루는 '끝이 있는 데이터'와 스트림이 다루는 '끝이 없는 데이터'의 경계를 잡고, Flink가 무한 스트림을 어떤 실행 모델로 표현하는지 — 데이터플로우 그래프(StreamGraph → JobGraph → ExecutionGraph), 연산자 체이닝과 슬롯 공유, 파티션·병렬...
배운 것을 하나로 꿰는 피날레. 비정형 코퍼스 → LLM 추출 → 그래프 DB → GraphRAG·추론 → 에이전트 write-back으로 이어지는 end-to-end 파이프라인을 개념과 핵심 코드 스니펫으로 조립하고, 헬스케어·금융·보안·엔터프라이즈·추천·법률·개인 메모리까지 도메인별 활용 사례를 아키텍처 변주로 집대성합니다. 확장성·최신성·환각·거...
시리즈의 심장 — 지금까지 만든 그래프를 에이전트가 스스로 쓰는 단계. 그래프를 도구(tool)로 삼아 자연어를 Cypher로 번역하고 질의를 계획하며, 그래프를 기억(memory)으로 삼아 새로 알게 된 사실을 write-back해 시간과 함께 자라는 시간적 지식 그래프(temporal KG)를 만듭니다. 검색–추론–행동 루프, 사실의 유효 기간·무...
그래프를 읽는 데서 예측·추론으로 넓히는 단계. 노드와 관계를 벡터로 옮기는 그래프 임베딩(node2vec·TransE)으로 유사 개체를 찾고, 아직 그래프에 없는 관계를 예측하는 링크 예측으로 추천·신약 후보·리스크 연결을 발견하며, 규칙·경로 기반 다중 홉 추론과 그래프 신경망(GNN)이 어떻게 쓰이는지를 개념 수준에서 잡습니다. 이 예측·추론 능...
벡터 RAG는 의미가 비슷한 조각은 잘 찾지만, 여러 문서에 흩어진 사실을 연결해야 하는 다중 홉 질문이나 '코퍼스 전체의 핵심은?' 같은 전역 질문에 약합니다. GraphRAG는 문서에서 뽑은 지식 그래프에 community detection으로 주제 클러스터를 만들고 그 요약을 미리 구워 두어, 지역(local)과 전역(global) 질문 모두에 ...
지식 그래프 부흥의 첫 번째 엔진 — LLM으로 그래프를 짓는 법. 스키마를 프롬프트로 유도해 구조화 출력(JSON·함수 호출)으로 트리플을 뽑고, LLMGraphTransformer·프로퍼티 그래프 인덱스 같은 도구로 파이프라인을 세운 뒤, 환각·중복·불일치를 검증하고 휴먼인더루프로 교정합니다. LLM은 추출의 문턱을 낮추지만, 3단계의 스키마·엔티...
그래프를 실제로 짓기 시작하는 단계. 텍스트에서 개체를 찾는 개체명 인식(NER)과 관계를 뽑는 관계 추출(RE), 그래프가 담을 개념을 정하는 스키마·온톨로지 설계, 그리고 여러 소스에 흩어진 같은 실체를 하나로 묶는 엔티티 해소까지 — LLM 이전의 전통 파이프라인을 먼저 이해해야 4단계에서 LLM이 무엇을 대체하고 무엇을 못 하는지가 보입니다.
지식 그래프를 실제로 저장하고 물어보는 손을 푸는 단계. 실무 주류인 속성 그래프(Neo4j)와 Cypher로 노드·엣지·가변 길이 경로를 질의하고, 시맨틱 웹 계열의 RDF·SPARQL과 대비하며, property graph vs RDF를 언제 고를지, GQL 표준과 그래프 DB 지형도까지 실용 관점에서 정리합니다.
지식 그래프는 세상을 노드와 관계로 표현한 사실의 망입니다. 관계형 DB가 관계를 조인으로 그때그때 계산한다면 그래프는 관계를 데이터 그 자체로 저장하고, 벡터 DB가 '의미가 비슷한 조각'을 찾는다면 그래프는 '명시적으로 연결된 사실'을 따라갑니다. 다중 홉·전역·설명가능성이 필요한 순간 왜 그래프가 빛나는지, 세 렌즈를 나란히 놓고 Agentic-...
지식 그래프가 무엇이며 왜 그래프인가(vs 관계형·vs 벡터 DB)에서 출발해, 그래프 DB·질의, 엔티티/관계 추출로 그래프를 짓고, LLM 기반 구축·GraphRAG·그래프 추론으로 지능을 얹은 뒤, 그래프를 도구·기억으로 쓰는 Agentic Knowledge Graph를 직접 구축하는 8단계 학습 로드맵. 헬스케어·금융·보안·엔터프라이즈 등 도메...
온톨로지와 DDD는 '도메인의 의미를 명시하고 조직이 공유하게 한다'는 같은 뿌리에서 자라지만, 사는 층이 다릅니다. 유비쿼터스 언어↔의미 계층, 엔티티↔객체 타입, 애그리거트·바운디드 컨텍스트의 대응과 어긋남을 개념 대 개념으로 매핑하고, 둘을 어떻게 함께 쓰는지 정리합니다.
Practical Data Community의 Goutham Budati가 쓴 'Why Technically Excellent Data Teams Still Fail'을 분석한다. 파이프라인·대시보드 실력이 아무리 뛰어나도 데이터 팀이 조직에 영향을 못 주는 이유를 'Data → Perspective → Action' 3층 모델로 설명하고, 해석(Pe...
Vikram Sreekanti와 Joseph E. Gonzalez의 'Data is Your Only Moat'를 읽고, AI 애플리케이션을 '문제 난이도 × 채택 난이도'의 2x2로 나눠 각 사분면의 경쟁 동학과 해자를 분석한다. 결론은 하나 — 어느 사분면에 있든 진짜 해자는 채택 용이성이 돌리는 데이터 플라이휠뿐이라는 것.
Ontology-Essential 시리즈의 마지막 7단계 — 만든 온톨로지를 조직 안에서 오래 살리는 법을 다룹니다. 객체·링크·스키마의 버전 관리와 하위 호환·마이그레이션 전략, 의미 계층 위의 접근 제어·보안 마킹·계보·감사, 그리고 도메인 워크숍에서 배포·피드백 루프까지 이어지는 Forward Deployed Engineer의 실제 워크플로를 정...
잘 만든 온톨로지의 진짜 가치는 읽는 데 있지 않습니다. 객체를 통제된 방식으로 바꾸는 액션(action), 그 변경이 모델과 원천 시스템으로 되돌아 쓰이는 write-back 고리, 검증·권한·감사를 품은 함수 기반 액션까지 — read-only 의미 계층을 '행동의 시스템(system of action)'으로 바꾸는 운영 계층을 재고 부족 → 발주...
우아한 객체·링크 모델도 실제 데이터와 이어지지 않으면 그림일 뿐입니다. 파이프라인 산출물인 백킹 데이터셋을 객체 타입의 물리적 뒷받침으로 삼는 속성 매핑, 여러 소스에 흩어진 같은 실체를 하나의 객체로 묶는 엔티티 해소(결정적·확률적 매칭, 매칭 신뢰도, 골든 레코드), 그리고 중복·불일치·누락이라는 지저분한 현실 위에서 신뢰할 만한 객체 그래프를 ...
온톨로지의 힘은 객체가 아니라 관계에서 나옵니다. 관계형 DB에서 외래키·조인 테이블로 흩어져 있던 관계를 링크 타입이라는 일급 개념으로 끌어올리는 법 — 링크의 이름·방향·의미 설계, 1:1·1:N·N:M 카디널리티와 외래키→링크 번역 규칙, 그리고 조인 사고를 탐색 사고로 바꾸는 그래프 탐색까지, SQL 조인과 나란히 대비하며 관통합니다.
