홈 | Orc Hwang’s Wiki

최근 출정 기록

CS336 11강 — 스케일링 법칙 2: 실전 레시피와 muP

2026년 06월 26일

llm scaling-laws mup hyperparameter-transfer cs336 language-modeling

Stanford CS336 11강 정리. 실전 LLM 빌더가 스케일링 법칙을 쓰는 법 — Cerebras·MiniCPM·DeepSeek 사례, WSD 학습률로 Chinchilla를 한 번에, '20토큰/파라미터는 출발점일 뿐', 그리고 하이퍼파라미터를 스케일에 불변으로 만드는 muP의 유도와 한계.

CS336 10강 — 추론(Inference): KV 캐시와 메모리 한계의 게임

2026년 06월 26일

llm inference kv-cache speculative-decoding cs336 language-modeling

Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.

CS336 9강 — 스케일링 법칙 1: 작게 실험해 크게 예측하기

2026년 06월 26일

llm scaling-laws chinchilla cs336 language-modeling

Stanford CS336 9강 정리. 손실이 데이터·모델·연산의 거듭제곱으로 줄어드는 스케일링 법칙 — 왜 멱법칙이 자연스러운가, 작은 모델로 아키텍처·하이퍼파라미터를 정하는 법, 그리고 컴퓨트 최적 배분을 알려주는 Chinchilla(파라미터당 20토큰)와 추론을 생각한 over-training.

CS336 8강 — 병렬화 2: 텐서·파이프라인 병렬과 3D 병렬화

2026년 06월 26일

llm parallelism tensor-parallel pipeline-parallel cs336 language-modeling

Stanford CS336 8강 정리. 모델을 쪼개 활성화만 주고받기 — 너비로 자르는 텐서 병렬, 깊이로 자르는 파이프라인 병렬(과 버블), 활성화·시퀀스 병렬, 그리고 셋을 합치는 3D 병렬화의 실전 규칙과 사례(Megatron·DeepSeek·Llama 3).

CS336 7강 — 병렬화 1: 데이터 병렬과 ZeRO/FSDP

2026년 06월 26일

llm parallelism data-parallel fsdp cs336 language-modeling

Stanford CS336 7강(전반) 정리. 한 GPU를 넘어 데이터센터로 — 네트워킹 계층과 집합 통신(all-reduce = reduce-scatter + all-gather), 데이터 병렬의 파라미터당 16바이트 메모리 문제, 그리고 그 중복을 단계적으로 걷어내는 ZeRO 1·2·3(=FSDP).