홈 | Orc Hwang’s Wiki

최근 출정 기록

CS336 4강 — Mixture of Experts: 연산은 그대로, 파라미터만 키우기

2026년 06월 26일

llm moe mixture-of-experts deepseek cs336 language-modeling

Stanford CS336 4강 정리. Dense FFN을 라우터 + 여러 전문가로 바꿔 FLOPs는 그대로 두고 파라미터만 키우는 MoE — token-choice top-k 라우팅, fine-grained·shared 전문가, 부하 분산 손실과 DeepSeek V3의 보조손실 없는 균형, 그리고 MLA·MTP까지.

CS336 3강 — 아키텍처와 하이퍼파라미터: 현대 트랜스포머의 합의

2026년 06월 26일

llm transformer architecture rope cs336 language-modeling

Stanford CS336 3강 정리. 2017~2025년 약 19개 모델의 '수렴 진화'에서 배운 현대 트랜스포머의 합의 — Pre-norm·RMSNorm·bias 제거·SwiGLU·RoPE, 그리고 d_ff 비율·aspect ratio 같은 하이퍼파라미터 규칙과 z-loss·QK-norm·MQA/GQA까지.

CS336 2강 — PyTorch와 자원 회계: 6ND와 메모리를 냅킨에 계산하기

2026년 06월 26일

llm pytorch flops resource-accounting cs336 language-modeling

Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.

CS336 1강 — 개요와 토크나이제이션: BPE를 밑바닥부터

2026년 06월 26일

llm tokenization bpe cs336 language-modeling

Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.

CS336: 밑바닥부터 만드는 언어 모델 — Essential Curriculum

2026년 06월 26일

llm language-modeling cs336 deep-learning curriculum

Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.