Lewis Campbell의 논쟁적 에세이 'Saying Goodbye to Agile'을 정리·분석한다. 애자일이 정의한 적 없는 것으로 스스로를 정의했고, 그 반대편의 워터폴은 1970년 Royce가 이미 반박했으며, LLM 시대의 Spec-Driven Development는 결국 반세기 전 결론으로 되돌아왔다는 도발적 주장을 개발자 관점에서 읽는다.
무신사 기술블로그에 실린 Tao Kim의 'The Philosophy: AI Native Hiring'(AI 네이티브 채용 3부작 Part 1)을 정리·분석한다. LeetCode가 commodity가 된 시대에 '만들기'에서 '결정하기'로 옮겨간 무게중심, 모호함을 시험으로 삼는 문제 설계, 그리고 기능적 완성도보다 사고의 깊이를 무겁게 두는 3-Ti...
Lars Faye의 에세이 'Agentic Coding is a Trap'(2026-04-26)을 정리·분석한다. '사람은 오케스트레이터, AI가 코딩'이라는 요즘의 서사가 왜 함정일 수 있는지 — 인지 부채, 스킬 위축, 감독의 역설, 벤더 락인 — 을 짚고, AI의 역할을 '보조'로 강등하는 저자의 대안을 개발자 관점에서 읽는다.
Will Larson(lethain)의 'Revised rules of engineering leadership'을 정리·분석한다. AI 도구가 일하는 속도를 바꾼 뒤 그가 엔지니어링 리더십을 다시 세운 5가지 규칙 — 개인이 주도하는 마이그레이션, 공짜가 아닌 '작동하는 코드', 에이전트를 위한 프로세스, 그럼에도 더 중요해진 지속 팀, 빠르고 좋은...
사전학습된 원석을 어시스턴트로 — SFT는 사전학습 행동을 추출할 뿐 새로 더하지 않고(모르는 사실을 학습하면 환각), 선호 데이터로 보상 모델(Bradley-Terry)을 세워 RLHF(PPO·KL 제약)로 사람 선호에 맞추고, 그 보상 모델마저 없애 버리는 DPO까지.
Stanford CS336 14강 정리. raw 웹을 좋은 학습 코퍼스로 바꾸는 세 기술 — 품질 필터링(KenLM·fastText·DSIR), 중복 제거(MinHash·LSH·Bloom filter), 데이터 믹스. 핵심 과제는 목표와 닮은 부분집합을 극도로 빠르게 골라내기.
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.
Stanford CS336 11강 정리. 실전 LLM 빌더가 스케일링 법칙을 쓰는 법 — Cerebras·MiniCPM·DeepSeek 사례, WSD 학습률로 Chinchilla를 한 번에, '20토큰/파라미터는 출발점일 뿐', 그리고 하이퍼파라미터를 스케일에 불변으로 만드는 muP의 유도와 한계.
Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.
Stanford CS336 9강 정리. 손실이 데이터·모델·연산의 거듭제곱으로 줄어드는 스케일링 법칙 — 왜 멱법칙이 자연스러운가, 작은 모델로 아키텍처·하이퍼파라미터를 정하는 법, 그리고 컴퓨트 최적 배분을 알려주는 Chinchilla(파라미터당 20토큰)와 추론을 생각한 over-training.
Stanford CS336 7강(전반) 정리. 한 GPU를 넘어 데이터센터로 — 네트워킹 계층과 집합 통신(all-reduce = reduce-scatter + all-gather), 데이터 병렬의 파라미터당 16바이트 메모리 문제, 그리고 그 중복을 단계적으로 걷어내는 ZeRO 1·2·3(=FSDP).
Stanford CS336 6강 정리. GPU 코드를 빠르게 만드는 실전 — 벤치마킹(warm-up·cuda.synchronize)과 프로파일링(CPU/GPU 비동기 모델)으로 병목을 찾고, GELU 커널을 수동 PyTorch·내장·CUDA C++·Triton·torch.compile 다섯 가지로 써 보며 커널 퓨전의 효과를 잰다.
Stanford CS336 4강 정리. Dense FFN을 라우터 + 여러 전문가로 바꿔 FLOPs는 그대로 두고 파라미터만 키우는 MoE — token-choice top-k 라우팅, fine-grained·shared 전문가, 부하 분산 손실과 DeepSeek V3의 보조손실 없는 균형, 그리고 MLA·MTP까지.
Stanford CS336 3강 정리. 2017~2025년 약 19개 모델의 '수렴 진화'에서 배운 현대 트랜스포머의 합의 — Pre-norm·RMSNorm·bias 제거·SwiGLU·RoPE, 그리고 d_ff 비율·aspect ratio 같은 하이퍼파라미터 규칙과 z-loss·QK-norm·MQA/GQA까지.
