Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.
Shi·Pang·Li의 arXiv 논문 'Matched Capabilities, Different Behaviors'(2610.34298v1)를 분석·정리한다. 실행 가능한 능력을 똑같이 맞춘 MCP와 CLI 인터페이스가 6개 모델·3개 환경에서 성능·토큰 비용·실패 경로를 크게 다르게 만든다는 통제 실험(MICA)과, 결정은 그대로 두고 표현만 고치...
Google Research 블로그의 'The sleep framework: A new way for LLMs to retain knowledge in continual learning'(Ali Behrouz·Vahab Mirrokni, 2026-10-27)을 분석·정리한다. 깨어 있는 동안 쌓은 단기 기억을 '수면' 단계에서 확장된 장기 파라미터로 ...
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...
Martin Fowler의 bliki 글 'LLM Voice'(2026-10-29)를 읽고, LLM이 쓴 글에서 독자가 느끼는 '산문의 불쾌한 골짜기', 초안을 LLM에 맡기지 말라는 조언, 쓰기가 곧 생각하기라는 주장, 그리고 그가 인정하는 예외들을 정리·분석한다.
IQuest 연구진의 arXiv 논문(2610.35013) 'Multiscale Policy Optimization for Long-Horizon LLM Agents'를 분석·정리한다. 멀티턴 에이전트에서 critic 가치가 토큰이 아니라 '턴' 사이에서 주로 변한다는 관찰에서 출발해, 턴 단위 GAE + 평균 보존 토큰 할당(MAE)과 턴 단위 im...
많은 전용 에이전트 메모리가 원본 기록을 그대로 검색하는 naive RAG보다 못하다는 관찰에서 출발해, 메모리의 순가치를 '이득'과 '세금'(충실성·접근성·강건성)으로 쪼개는 arXiv 논문 Memory Tax(2610.34073)를 정리한다. 세금이 생기는 경로와 설계 처방을 개발자 관점에서 짚는다.
Cartesia Research의 'From Tokens to Bytes I: Scaling Hierarchical Networks'를 분석한다. 고정된 BPE 토크나이저 대신 모델 안에서 바이트를 동적으로 묶는 H-Net이 계산 최적 스케일링 사다리, 3B급 학습, 학습된 청킹의 질적 분석, DNA·이미지 확장에서 무엇을 보였는지 정리하고, 수치를 ...
Zhihao Yang 외 9인의 arXiv 논문 'Evolving to Match Capabilities'(2610.33024)를 분석·정리한다. 강한 모델을 끌어올리는 같은 스킬(SKILL.md)이 약한 모델에겐 무용하거나 해롭다는 관찰, 실패의 86%가 '이미 스킬에 적힌 요구사항'을 어긴 것이라는 진단, 그리고 네 가지 실패 유형을 고정된 메타 ...
Ubicloud 블로그의 'Fixing Tool-Call Accuracy in vLLM'을 분석·정리한다. vLLM으로 Kimi K2.6을 서빙할 때 92%에 그친 도구 호출 스키마 정확도를 XGrammar 기반 제약 디코딩으로 100%까지 끌어올린 과정과, vLLM이 그 기능을 기본으로 끈 이유를 읽고, Hacker News 토론(GeekNews 소...
Sebastian Raschka가 Ahead of AI에 공개한 'Building Reasoning Models from the Ground Up'을 분석한다. 사전학습된 Qwen3 0.6B 위에 검증기 → 추론 시점 스케일링 → RLVR/GRPO → 증류를 PyTorch로 직접 쌓는 8강 커리큘럼의 구조를 정리하고, LLM·추론 모델·에이전트 하니스...
Charles Miller의 블로그 The Fishbowl에 실린 짧은 에세이 '"AI Skills" are worthless in 2026'(2026-10-26)을 정리·분석한다. C의 i++ / ++i 미신에서 프롬프트 엔지니어링으로 이어지는 비유를 통해, 몇 주면 익히고 몇 달이면 제품에 흡수되는 'AI 요령'은 그 순간 밖에서는 가치가 없으며,...
Cloudflare 블로그의 GLM-5.3 Workers AI 교차 요청 KV 캐시 노출 사고 보고서를 분석합니다. 설정 불일치와 SGLang disaggregated prefill/decode 거절 경로 버그가 겹쳐 다른 고객의 데이터가 응답에 섞인 경위, 타임라인, 즉시 조치와 장기 하드닝을 정리합니다.
Archer Hume의 'Jev's Architecture Unmasked'를 분석·정리한다. TypeSafe가 연구를 공개하지 않는 판단 특화 모델 Jev를 체계적 API 프로빙으로 역공학해 — 공유 상태 인코딩, 격리된 질문 브랜치, 텍스트 생성 없는 직접 확률 readout, listwise 선택지 상호작용, MoE 추정까지 — 가장 그럴듯한 아...
JEV Essential 시리즈의 마지막 단계입니다. test-time compute 부재가 규정하는 판단 특화 모델의 능력 상한, 적대적 입력·도메인 이동·주관적 질문이라는 미검증 지대(도입 전 점검 목록 포함), 독립 벤치마크 부재 속 해자 논쟁의 남은 쟁점, 그리고 생성/판정 분리가 상품화되는 System One 시장의 전망까지 — 시리즈를 관통...
보정된 확률을 소프트웨어 부품으로 쓰는 법을 다룹니다. 파이프라인의 판단 지점을 발견·목록화하는 방법, 세 활용 영역(컨텍스트 찾기·작업 검사·의사결정)의 설계 패턴, 확률 + 임계값 + 폴백 아키텍처, 값싼 판정기를 triage로 배치하는 이유, 그리고 '지식 노동의 린터'라는 새 도구 계층까지 — 실전 Python 의사코드와 함께 정리합니다.
TypeSafe Jev의 System One 아키텍처를 해부합니다. 구조화 출력 전용 설계와 70ms~500ms 지연 프로파일, Doom 실시간 시연에서 출발해, prefill + 단일 토큰 constrained decoding으로 속도를 재현한 Sean Goedecke의 반박을 검토하고 — 차별점이 아키텍처 층인가 추론 전략 층인가를 증거 기반으로 ...
모델이 0.9라고 말할 때 실제로 90% 맞아야 그 확률을 if문에 꽂을 수 있습니다. 보정의 정의와 정확도와의 구분, 신경망이 과신하는 이유, reliability diagram·ECE 측정, 온도 스케일링의 원리와 한계, 도메인 이동 시 보정 붕괴가 임계값 자동화에 미치는 영향, 그리고 RLCD가 통상 RLHF와 목적 함수에서 어떻게 달라야 하는지...
JEV Essential 3단계. '질문을 받아 확률을 돌려주는 모델'은 사실 오래된 물건입니다 — 전통적 지도학습 분류기가 정확히 그 일을 했습니다. 분류기(속도·보정 vs 태스크당 학습 데이터) → LLM-as-Judge(zero-shot 유연성 vs 파싱·비용·지연·편향) → 판단 특화 모델(유연성 + 확률)로 이어지는 계보를 따라가며, Jev가...
prefill은 왜 병렬적이고 싸며, generation은 왜 토큰당 순차 비용을 내는가. KV 캐시와 메모리 대역폭이 만드는 비용 비대칭을 해부하고, 'prefill + 선택지 제약 1토큰' 전략이 왜 2~3배 가속을 만드는지, 단일 토큰 출력에서 표준 배칭이 지연 상한을 낮추는 이유를 계산으로 설명합니다.
JEV Essential 1단계 — LLM이 JSON 같은 형식을 100% 보장하는 원리를 해부합니다. 프롬프트 구슬리기에서 JSON mode·function calling을 거쳐 grammar-constrained decoding(문법 상태 기계 + logit 마스킹)에 이르는 계보를 따라가고, '형식 보장 ≠ 내용 정확성'이라는 핵심 구분과 유한 ...
TypeSafe의 판단 특화 모델 Jev를 이해하기 위한 7단계 학습 로드맵입니다. 구조화 출력과 제약 디코딩, 추론 비용 구조, LLM-as-Judge, 확률 보정이라는 배경에서 출발해 System One 아키텍처의 본질을 해부하고, 확률+임계값 설계 패턴과 한계·전망까지 도장깨기로 정복합니다.
Sean Goedecke의 'Jev means structured output is interesting again'을 분석·정리한다. TypeSafe AI의 'System One' 모델 Jev가 자기회귀 생성을 버리고 구조화 출력만 내보내며 70ms~500ms 응답을 달성한 것의 의미 — 그리고 그 속도가 기존 LLM의 prefill + 단일 토큰 ...
Every의 'Also True for Humans' 칼럼에서 Mike Taylor가 TypeSafe의 판단 특화 모델 Jev를 직접 테스트한 글을 분석한다. 777개의 판단을 0.7초에, 0.25센트로 처리하는 모델이 '지식 노동의 린터'라는 새로운 도구 계층을 여는 과정 — 그리고 그것이 에이전트 검증 문제에 주는 함의를 정리한다.
Few-Shot Academy의 Mangat Rai가 쓴 'GPT-6 Astra: the harness is the product'를 분석·정리한다. Astra의 진짜 혁신은 모델이 아니라 메모리·도구·컨텍스트·제어를 묶은 런타임 하니스라는 주장과, 같은 모델이 하니스에 따라 54.8% vs 99.9%로 갈리는 45.1포인트 격차, 그리고 '2회 평가...
지식 그래프 부흥의 첫 번째 엔진 — LLM으로 그래프를 짓는 법. 스키마를 프롬프트로 유도해 구조화 출력(JSON·함수 호출)으로 트리플을 뽑고, LLMGraphTransformer·프로퍼티 그래프 인덱스 같은 도구로 파이프라인을 세운 뒤, 환각·중복·불일치를 검증하고 휴먼인더루프로 교정합니다. LLM은 추출의 문턱을 낮추지만, 3단계의 스키마·엔티...
지식 그래프가 무엇이며 왜 그래프인가(vs 관계형·vs 벡터 DB)에서 출발해, 그래프 DB·질의, 엔티티/관계 추출로 그래프를 짓고, LLM 기반 구축·GraphRAG·그래프 추론으로 지능을 얹은 뒤, 그래프를 도구·기억으로 쓰는 Agentic Knowledge Graph를 직접 구축하는 8단계 학습 로드맵. 헬스케어·금융·보안·엔터프라이즈 등 도메...
Reddit·Hacker News에서 뜨는 'graph engineering'을 조사해 loop engineering의 다음 단계로 정의한다 — 에이전트를 무한 루프가 아니라 타입된 상태·조건부 엣지·체크포인트를 가진 명시적 그래프로 설계하는 흐름. 이 위키의 loop engineering·durable execution·데이터 엔지니어링 DAG 글과...
Martin Fowler의 2026년 7월 13일 fragment를 읽고, Thoughtworks 리트릿 메모(하니스 엔지니어링·셀프 호스팅 모델·에이전트 자율성)와 링크 모음을 관통하는 한 질문 — 에이전트에게 얼마나 결정을 맡기고, 그 결과를 어떻게 신뢰할 것인가 — 을 정리·분석한다.
Martin Fowler의 'LLMs bring new nature of abstraction'(2025-06-24)을 정리·분석한다. assembler에서 고급 언어로의 도약처럼 LLM도 추상화의 층을 올리지만, 이번엔 '위로'만이 아니라 '옆으로' — 비결정성(non-determinism)으로 — 움직인다는 관찰을 통해 프로그래밍의 수준이 아니라 ...
RL을 언어 모델에 실제로 돌리는 법 — 정책 경사의 유도, 분산을 줄이는 baseline과 advantage, 그리고 GRPO를 한 줄씩 구현하며 'raw reward로는 왜 안 되는가'를 눈으로 본다. CS336 시리즈의 마지막 강.
학습된 보상 대신 정답을 검증하는 보상(RLVR) — 수학·코드에서 규칙 기반 보상으로 reward hacking을 줄이고, 이 단순한 전환이 긴 사고사슬을 스스로 학습하는 추론 모델(o1·DeepSeek R1)과 GRPO를 낳았다.
사전학습된 원석을 어시스턴트로 — SFT는 사전학습 행동을 추출할 뿐 새로 더하지 않고(모르는 사실을 학습하면 환각), 선호 데이터로 보상 모델(Bradley-Terry)을 세워 RLHF(PPO·KL 제약)로 사람 선호에 맞추고, 그 보상 모델마저 없애 버리는 DPO까지.
Stanford CS336 14강 정리. raw 웹을 좋은 학습 코퍼스로 바꾸는 세 기술 — 품질 필터링(KenLM·fastText·DSIR), 중복 제거(MinHash·LSH·Bloom filter), 데이터 믹스. 핵심 과제는 목표와 닮은 부분집합을 극도로 빠르게 골라내기.
데이터가 아키텍처보다 모델을 결정한다 — Common Crawl을 학습 코퍼스로 바꾸는 파이프라인(WARC/WET·HTML→텍스트), 사전학습 데이터셋의 계보(C4·The Pile·RefinedWeb·FineWeb·Dolma·DCLM), 그리고 저작권·공정 이용.
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.
Stanford CS336 11강 정리. 실전 LLM 빌더가 스케일링 법칙을 쓰는 법 — Cerebras·MiniCPM·DeepSeek 사례, WSD 학습률로 Chinchilla를 한 번에, '20토큰/파라미터는 출발점일 뿐', 그리고 하이퍼파라미터를 스케일에 불변으로 만드는 muP의 유도와 한계.
Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.
Stanford CS336 9강 정리. 손실이 데이터·모델·연산의 거듭제곱으로 줄어드는 스케일링 법칙 — 왜 멱법칙이 자연스러운가, 작은 모델로 아키텍처·하이퍼파라미터를 정하는 법, 그리고 컴퓨트 최적 배분을 알려주는 Chinchilla(파라미터당 20토큰)와 추론을 생각한 over-training.
Stanford CS336 8강 정리. 모델을 쪼개 활성화만 주고받기 — 너비로 자르는 텐서 병렬, 깊이로 자르는 파이프라인 병렬(과 버블), 활성화·시퀀스 병렬, 그리고 셋을 합치는 3D 병렬화의 실전 규칙과 사례(Megatron·DeepSeek·Llama 3).
Stanford CS336 7강(전반) 정리. 한 GPU를 넘어 데이터센터로 — 네트워킹 계층과 집합 통신(all-reduce = reduce-scatter + all-gather), 데이터 병렬의 파라미터당 16바이트 메모리 문제, 그리고 그 중복을 단계적으로 걷어내는 ZeRO 1·2·3(=FSDP).
Stanford CS336 6강 정리. GPU 코드를 빠르게 만드는 실전 — 벤치마킹(warm-up·cuda.synchronize)과 프로파일링(CPU/GPU 비동기 모델)으로 병목을 찾고, GELU 커널을 수동 PyTorch·내장·CUDA C++·Triton·torch.compile 다섯 가지로 써 보며 커널 퓨전의 효과를 잰다.
Stanford CS336 5강 정리. GPU를 마법이 아니라 구조로 이해하기 — SM·메모리 계층·SIMT 실행 모델, 루프라인과 산술 강도, 그리고 정밀도·퓨전·재계산·코얼레싱·타일링이라는 6가지 도구로 메모리 병목을 줄여 Flash Attention에 이르는 길.
Stanford CS336 4강 정리. Dense FFN을 라우터 + 여러 전문가로 바꿔 FLOPs는 그대로 두고 파라미터만 키우는 MoE — token-choice top-k 라우팅, fine-grained·shared 전문가, 부하 분산 손실과 DeepSeek V3의 보조손실 없는 균형, 그리고 MLA·MTP까지.
Stanford CS336 3강 정리. 2017~2025년 약 19개 모델의 '수렴 진화'에서 배운 현대 트랜스포머의 합의 — Pre-norm·RMSNorm·bias 제거·SwiGLU·RoPE, 그리고 d_ff 비율·aspect ratio 같은 하이퍼파라미터 규칙과 z-loss·QK-norm·MQA/GQA까지.
Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.
Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.
Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.
OpenAI 엔지니어링 블로그의 'Unrolling the Codex agent loop'(Michael Bolin)를 분석한다. Codex CLi 하니스가 사용자·모델·도구의 상호작용을 어떻게 오케스트레이션하는지를 prompt 조립, role 우선순위, stateless 설계, agent loop의 quadratic 비용, prompt caching...
Modular의 Tim Davis가 쓴 'Probabilistic Engineering and the 24-7 Employee'를 분석한다. 소프트웨어가 정확성을 '아는' 결정론적 엔지니어링에서 정확성을 '믿는' 확률적 엔지니어링으로 옮겨 가고, 사람이 밤새 일하는 에이전트 함대를 지휘하는 24-7 노동 모델이 등장한다는 주장 — 생성은 싸졌지만 검증...
Simon Willison의 'Vibe coding and agentic engineering are getting closer than I'd like'를 분석한다. '코드를 안 보고 만드는 바이브 코딩'과 '전문성을 쥔 채 AI를 쓰는 에이전틱 엔지니어링'을 칼같이 구분해 온 저자가, 에이전트가 믿을 만해질수록 자기도 모든 줄을 리뷰하지 않게 되면...
GitHub 저장소 DietrichGebert/ponytail을 직접 클론해 코드까지 읽고 분석한다. '안 쓴 코드가 최고의 코드'라는 게으른 시니어 개발자의 판단을, 7단계 사다리(ladder) 규칙 한 장과 얇은 어댑터 14개로 코딩 에이전트 안에 심는 스킬 배포 프로젝트다. 무엇을 하는지, 어떻게 동작하는지, 벤치마크가 왜 정직한지, 그리고 무엇...
Martin Fowler의 2026년 4월 2일 fragment를 읽고, 세 층위의 부채·System 3와 '인지적 항복'·검증이 비싸지는 시대·유비쿼터스 언어라는 네 개의 메모를 관통하는 한 질문 — 코드가 공짜가 되면 무엇이 사람의 몫으로 남는가 — 을 정리·분석한다.
Nature 기사 'Is AI ruining our skills? Early results are in — and they're not good'(Mariana Lenharo, 2026-06-18)를 정리·분석한다. AI 도구에 기댄 의사와 개발자에게서 실력이 실제로 줄어든다는 초기 연구 — 폴란드 내시경 전문의의 선종 발견율이 28.4%에서 22.4...
Andrej Karpathy가 X에 남긴 LLM 코딩의 네 가지 실패 모드 관찰과, Forrest Chang이 이를 Claude 스킬(karpathy-guidelines)로 증류한 행동 지침을 함께 읽고, 네 원칙이 어떻게 관찰과 1:1로 대응하는지, 그리고 이것이 왜 프롬프트가 아니라 운영 규율인지를 정리한다.
George Hotz(geohot)의 'The Eternal Sloptember'를 읽고, '에이전트는 프로그래밍을 못 한다 — 통계 모델이 점점 더 정교하게 망가진 코드를 내놓을 뿐'이라는 도발적 주장을 정리·분석한다. 지위 불안 가설을 스스로 기각하는 자기검증, 큰 조직이 더 크게 다친다는 비대칭, '의도 없는 산출물'이라는 품질 위기, 그리고 L...
Caleb Gross의 에세이 'You can just say it'을 읽고, 인간의 가치를 'AI보다 잘함'이라는 조건부 명제로 방어하는 흔한 논법이 왜 위태로운지, 그리고 '의도(intent)와 형식(form)'이라는 렌즈로 창작과 'AI slop'을 어떻게 다시 봐야 하는지 개발자 관점에서 분석·정리한다.
하용호의 인프런 밋업 발표자료 'AI시대, 나의 전문성을 재설계하는 법'(슬라이드 165장)을 정리·분석한다. 회사의 AX 5단계, 기술·인지·의도 3대 부채, 생산에서 검증으로 옮겨가는 일의 무게중심, 그리고 '스킬 숙련자에서 운영 책임자로'라는 전문가의 재정의를 다룬다.
Manish Goregaokar의 'The future of the con is already here'를 읽고, LLM이 표적 사기(targeted scam)의 비용 구조를 무너뜨려 '사기를 for 루프로 돌리는 세계'를 어떻게 여는지, 그리고 우리의 보안 휴리스틱이 왜 재보정되어야 하는지를 분석·정리한다.
Anthropic의 'Paving the way for agents in biology'를 읽고, 바이러스 데이터 검색에 결정론적 실행 계층(gget virus)을 더했더니 모델 교체보다 정확도·재현성이 더 크게 좋아졌다는 발견을 개발자 관점에서 분석·정리한다.
Beyond Vibe Coding 저자 Addy Osmani가 쓴 'Loop Engineering'을 읽고, 에이전트를 직접 프롬프트하는 대신 에이전트를 프롬프트하는 루프를 설계한다는 전환과 그 다섯 구성 요소를 개발자 관점에서 분석·정리한다.
Martin Fowler 사이트에 실린 Thoughtworks의 PRINCE 사례 연구를 읽고, 프로덕션 agentic AI의 신뢰성을 만드는 두 축 — context engineering과 harness engineering — 을 개발자 관점에서 분석·정리한다.
Max Leiter의 짧은 픽션 'They're Made Out of Weights'를 읽고, Terry Bisson의 SF 단편을 패러디한 이 대화가 LLM의 작동 원리(가중치·층·토큰 예측)와 기계 의식이라는 질문을 어떻게 던지는지 개발자 관점에서 분석·정리한다.
Martin Fowler가 사이트에 남긴 짧은 fragment 모음(2026-06-16)을 읽고, LLM 시대 프로그래밍의 즐거움·DDD·열광과 회의의 간극·플랫폼 중앙화에 대한 네 개의 메모를 개발자 관점에서 간결히 정리·분석한다.
SignalFire의 Ilya Kirnos가 정리한 '소프트웨어의 죽음' 4가지 논거(약한 것부터 강한 것 순)를 읽고, AI 시대에 해자(moat)가 어디로 이동하는지를 개발자 관점에서 분석·정리한다.
