Stage 5 · Ray Train 분산 학습 — 데이터 샤딩 · 체크포인트
PyTorch 모델을 노트북에서 N개 워커로 분산 학습합니다. TorchTrainer와 ScalingConfig로 워커 수를 정하고, 각 워커가 데이터의 서로 다른 '샤드'를 받는 원리(get_dataset_shard·DistributedSampler), 그리고 체크포인트 저장·복원을 실습합니다.
태그: pytorch
'pytorch' 태그가 포함된 2개의 포스트
CS336 2강 — PyTorch와 자원 회계: 6ND와 메모리를 냅킨에 계산하기
Stanford CS336 2강 정리. 모델을 '느낌'이 아니라 숫자로 다루는 자원 회계 — 메모리(부동소수점 타입·AdamW의 16바이트/파라미터)와 연산(행렬곱 2mnp → 학습 6ND), 그리고 MFU까지 냅킨 한 장으로 계산합니다.