지식 그래프 부흥의 첫 번째 엔진 — LLM으로 그래프를 짓는 법. 스키마를 프롬프트로 유도해 구조화 출력(JSON·함수 호출)으로 트리플을 뽑고, LLMGraphTransformer·프로퍼티 그래프 인덱스 같은 도구로 파이프라인을 세운 뒤, 환각·중복·불일치를 검증하고 휴먼인더루프로 교정합니다. LLM은 추출의 문턱을 낮추지만, 3단계의 스키마·엔티...
지식 그래프가 무엇이며 왜 그래프인가(vs 관계형·vs 벡터 DB)에서 출발해, 그래프 DB·질의, 엔티티/관계 추출로 그래프를 짓고, LLM 기반 구축·GraphRAG·그래프 추론으로 지능을 얹은 뒤, 그래프를 도구·기억으로 쓰는 Agentic Knowledge Graph를 직접 구축하는 8단계 학습 로드맵. 헬스케어·금융·보안·엔터프라이즈 등 도메...
Reddit·Hacker News에서 뜨는 'graph engineering'을 조사해 loop engineering의 다음 단계로 정의한다 — 에이전트를 무한 루프가 아니라 타입된 상태·조건부 엣지·체크포인트를 가진 명시적 그래프로 설계하는 흐름. 이 위키의 loop engineering·durable execution·데이터 엔지니어링 DAG 글과...
Martin Fowler의 2026년 7월 13일 fragment를 읽고, Thoughtworks 리트릿 메모(하니스 엔지니어링·셀프 호스팅 모델·에이전트 자율성)와 링크 모음을 관통하는 한 질문 — 에이전트에게 얼마나 결정을 맡기고, 그 결과를 어떻게 신뢰할 것인가 — 을 정리·분석한다.
Martin Fowler의 'LLMs bring new nature of abstraction'(2025-06-24)을 정리·분석한다. assembler에서 고급 언어로의 도약처럼 LLM도 추상화의 층을 올리지만, 이번엔 '위로'만이 아니라 '옆으로' — 비결정성(non-determinism)으로 — 움직인다는 관찰을 통해 프로그래밍의 수준이 아니라 ...
RL을 언어 모델에 실제로 돌리는 법 — 정책 경사의 유도, 분산을 줄이는 baseline과 advantage, 그리고 GRPO를 한 줄씩 구현하며 'raw reward로는 왜 안 되는가'를 눈으로 본다. CS336 시리즈의 마지막 강.
학습된 보상 대신 정답을 검증하는 보상(RLVR) — 수학·코드에서 규칙 기반 보상으로 reward hacking을 줄이고, 이 단순한 전환이 긴 사고사슬을 스스로 학습하는 추론 모델(o1·DeepSeek R1)과 GRPO를 낳았다.
사전학습된 원석을 어시스턴트로 — SFT는 사전학습 행동을 추출할 뿐 새로 더하지 않고(모르는 사실을 학습하면 환각), 선호 데이터로 보상 모델(Bradley-Terry)을 세워 RLHF(PPO·KL 제약)로 사람 선호에 맞추고, 그 보상 모델마저 없애 버리는 DPO까지.
Stanford CS336 14강 정리. raw 웹을 좋은 학습 코퍼스로 바꾸는 세 기술 — 품질 필터링(KenLM·fastText·DSIR), 중복 제거(MinHash·LSH·Bloom filter), 데이터 믹스. 핵심 과제는 목표와 닮은 부분집합을 극도로 빠르게 골라내기.
데이터가 아키텍처보다 모델을 결정한다 — Common Crawl을 학습 코퍼스로 바꾸는 파이프라인(WARC/WET·HTML→텍스트), 사전학습 데이터셋의 계보(C4·The Pile·RefinedWeb·FineWeb·Dolma·DCLM), 그리고 저작권·공정 이용.
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.
Stanford CS336 11강 정리. 실전 LLM 빌더가 스케일링 법칙을 쓰는 법 — Cerebras·MiniCPM·DeepSeek 사례, WSD 학습률로 Chinchilla를 한 번에, '20토큰/파라미터는 출발점일 뿐', 그리고 하이퍼파라미터를 스케일에 불변으로 만드는 muP의 유도와 한계.
Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.
Stanford CS336 9강 정리. 손실이 데이터·모델·연산의 거듭제곱으로 줄어드는 스케일링 법칙 — 왜 멱법칙이 자연스러운가, 작은 모델로 아키텍처·하이퍼파라미터를 정하는 법, 그리고 컴퓨트 최적 배분을 알려주는 Chinchilla(파라미터당 20토큰)와 추론을 생각한 over-training.
Stanford CS336 8강 정리. 모델을 쪼개 활성화만 주고받기 — 너비로 자르는 텐서 병렬, 깊이로 자르는 파이프라인 병렬(과 버블), 활성화·시퀀스 병렬, 그리고 셋을 합치는 3D 병렬화의 실전 규칙과 사례(Megatron·DeepSeek·Llama 3).
Stanford CS336 7강(전반) 정리. 한 GPU를 넘어 데이터센터로 — 네트워킹 계층과 집합 통신(all-reduce = reduce-scatter + all-gather), 데이터 병렬의 파라미터당 16바이트 메모리 문제, 그리고 그 중복을 단계적으로 걷어내는 ZeRO 1·2·3(=FSDP).
Stanford CS336 6강 정리. GPU 코드를 빠르게 만드는 실전 — 벤치마킹(warm-up·cuda.synchronize)과 프로파일링(CPU/GPU 비동기 모델)으로 병목을 찾고, GELU 커널을 수동 PyTorch·내장·CUDA C++·Triton·torch.compile 다섯 가지로 써 보며 커널 퓨전의 효과를 잰다.
Stanford CS336 5강 정리. GPU를 마법이 아니라 구조로 이해하기 — SM·메모리 계층·SIMT 실행 모델, 루프라인과 산술 강도, 그리고 정밀도·퓨전·재계산·코얼레싱·타일링이라는 6가지 도구로 메모리 병목을 줄여 Flash Attention에 이르는 길.
Stanford CS336 4강 정리. Dense FFN을 라우터 + 여러 전문가로 바꿔 FLOPs는 그대로 두고 파라미터만 키우는 MoE — token-choice top-k 라우팅, fine-grained·shared 전문가, 부하 분산 손실과 DeepSeek V3의 보조손실 없는 균형, 그리고 MLA·MTP까지.
Stanford CS336 3강 정리. 2017~2025년 약 19개 모델의 '수렴 진화'에서 배운 현대 트랜스포머의 합의 — Pre-norm·RMSNorm·bias 제거·SwiGLU·RoPE, 그리고 d_ff 비율·aspect ratio 같은 하이퍼파라미터 규칙과 z-loss·QK-norm·MQA/GQA까지.
Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.
Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.
Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.
OpenAI 엔지니어링 블로그의 'Unrolling the Codex agent loop'(Michael Bolin)를 분석한다. Codex CLi 하니스가 사용자·모델·도구의 상호작용을 어떻게 오케스트레이션하는지를 prompt 조립, role 우선순위, stateless 설계, agent loop의 quadratic 비용, prompt caching...
Modular의 Tim Davis가 쓴 'Probabilistic Engineering and the 24-7 Employee'를 분석한다. 소프트웨어가 정확성을 '아는' 결정론적 엔지니어링에서 정확성을 '믿는' 확률적 엔지니어링으로 옮겨 가고, 사람이 밤새 일하는 에이전트 함대를 지휘하는 24-7 노동 모델이 등장한다는 주장 — 생성은 싸졌지만 검증...
Simon Willison의 'Vibe coding and agentic engineering are getting closer than I'd like'를 분석한다. '코드를 안 보고 만드는 바이브 코딩'과 '전문성을 쥔 채 AI를 쓰는 에이전틱 엔지니어링'을 칼같이 구분해 온 저자가, 에이전트가 믿을 만해질수록 자기도 모든 줄을 리뷰하지 않게 되면...
GitHub 저장소 DietrichGebert/ponytail을 직접 클론해 코드까지 읽고 분석한다. '안 쓴 코드가 최고의 코드'라는 게으른 시니어 개발자의 판단을, 7단계 사다리(ladder) 규칙 한 장과 얇은 어댑터 14개로 코딩 에이전트 안에 심는 스킬 배포 프로젝트다. 무엇을 하는지, 어떻게 동작하는지, 벤치마크가 왜 정직한지, 그리고 무엇...
Martin Fowler의 2026년 4월 2일 fragment를 읽고, 세 층위의 부채·System 3와 '인지적 항복'·검증이 비싸지는 시대·유비쿼터스 언어라는 네 개의 메모를 관통하는 한 질문 — 코드가 공짜가 되면 무엇이 사람의 몫으로 남는가 — 을 정리·분석한다.
Nature 기사 'Is AI ruining our skills? Early results are in — and they're not good'(Mariana Lenharo, 2026-06-18)를 정리·분석한다. AI 도구에 기댄 의사와 개발자에게서 실력이 실제로 줄어든다는 초기 연구 — 폴란드 내시경 전문의의 선종 발견율이 28.4%에서 22.4...
Andrej Karpathy가 X에 남긴 LLM 코딩의 네 가지 실패 모드 관찰과, Forrest Chang이 이를 Claude 스킬(karpathy-guidelines)로 증류한 행동 지침을 함께 읽고, 네 원칙이 어떻게 관찰과 1:1로 대응하는지, 그리고 이것이 왜 프롬프트가 아니라 운영 규율인지를 정리한다.
George Hotz(geohot)의 'The Eternal Sloptember'를 읽고, '에이전트는 프로그래밍을 못 한다 — 통계 모델이 점점 더 정교하게 망가진 코드를 내놓을 뿐'이라는 도발적 주장을 정리·분석한다. 지위 불안 가설을 스스로 기각하는 자기검증, 큰 조직이 더 크게 다친다는 비대칭, '의도 없는 산출물'이라는 품질 위기, 그리고 L...
Caleb Gross의 에세이 'You can just say it'을 읽고, 인간의 가치를 'AI보다 잘함'이라는 조건부 명제로 방어하는 흔한 논법이 왜 위태로운지, 그리고 '의도(intent)와 형식(form)'이라는 렌즈로 창작과 'AI slop'을 어떻게 다시 봐야 하는지 개발자 관점에서 분석·정리한다.
하용호의 인프런 밋업 발표자료 'AI시대, 나의 전문성을 재설계하는 법'(슬라이드 165장)을 정리·분석한다. 회사의 AX 5단계, 기술·인지·의도 3대 부채, 생산에서 검증으로 옮겨가는 일의 무게중심, 그리고 '스킬 숙련자에서 운영 책임자로'라는 전문가의 재정의를 다룬다.
Manish Goregaokar의 'The future of the con is already here'를 읽고, LLM이 표적 사기(targeted scam)의 비용 구조를 무너뜨려 '사기를 for 루프로 돌리는 세계'를 어떻게 여는지, 그리고 우리의 보안 휴리스틱이 왜 재보정되어야 하는지를 분석·정리한다.
Anthropic의 'Paving the way for agents in biology'를 읽고, 바이러스 데이터 검색에 결정론적 실행 계층(gget virus)을 더했더니 모델 교체보다 정확도·재현성이 더 크게 좋아졌다는 발견을 개발자 관점에서 분석·정리한다.
Beyond Vibe Coding 저자 Addy Osmani가 쓴 'Loop Engineering'을 읽고, 에이전트를 직접 프롬프트하는 대신 에이전트를 프롬프트하는 루프를 설계한다는 전환과 그 다섯 구성 요소를 개발자 관점에서 분석·정리한다.
Martin Fowler 사이트에 실린 Thoughtworks의 PRINCE 사례 연구를 읽고, 프로덕션 agentic AI의 신뢰성을 만드는 두 축 — context engineering과 harness engineering — 을 개발자 관점에서 분석·정리한다.
Max Leiter의 짧은 픽션 'They're Made Out of Weights'를 읽고, Terry Bisson의 SF 단편을 패러디한 이 대화가 LLM의 작동 원리(가중치·층·토큰 예측)와 기계 의식이라는 질문을 어떻게 던지는지 개발자 관점에서 분석·정리한다.
Martin Fowler가 사이트에 남긴 짧은 fragment 모음(2026-06-16)을 읽고, LLM 시대 프로그래밍의 즐거움·DDD·열광과 회의의 간극·플랫폼 중앙화에 대한 네 개의 메모를 개발자 관점에서 간결히 정리·분석한다.
SignalFire의 Ilya Kirnos가 정리한 '소프트웨어의 죽음' 4가지 논거(약한 것부터 강한 것 순)를 읽고, AI 시대에 해자(moat)가 어디로 이동하는지를 개발자 관점에서 분석·정리한다.
