CS336 2강 — PyTorch와 자원 회계: 6ND와 메모리를 냅킨에 계산하기
Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.
태그: pytorch
'pytorch' 태그가 포함된 1개의 포스트