CS336: 밑바닥부터 만드는 언어 모델 — Essential Curriculum
Stanford CS336 'Language Modeling from Scratch'(2025 봄) 17개 강의를 토크나이저·아키텍처·시스템·스케일링·데이터·정렬의 5개 유닛, 17단계로 재구성한 종합 학습 로드맵입니다. 도장깨기 방식으로 LLM을 밑바닥부터 직접 만드는 여정을 추적합니다.
태그: deep-learning
'deep-learning' 태그가 포함된 2개의 포스트
딥러닝의 원리를 '유효 이론'으로 풀다: The Principles of Deep Learning Theory (Roberts·Yaida·Hanin)
Daniel A. Roberts, Sho Yaida, Boris Hanin의 책/논문 'The Principles of Deep Learning Theory'(arXiv:2106.10165)를 소개·분석한다. 물리학의 유효 이론(effective theory) 관점에서 깊고 넓은 신경망을 무한폭 가우시안 한계와 1/n 유한폭 보정으로 전개하는 이 작업...