태그: parallelism

'parallelism' 태그가 포함된 2개의 포스트

CS336 8강 — 병렬화 2: 텐서·파이프라인 병렬과 3D 병렬화

2026년 06월 26일

llm parallelism tensor-parallel pipeline-parallel cs336 language-modeling

Stanford CS336 8강 정리. 모델을 쪼개 활성화만 주고받기 — 너비로 자르는 텐서 병렬, 깊이로 자르는 파이프라인 병렬(과 버블), 활성화·시퀀스 병렬, 그리고 셋을 합치는 3D 병렬화의 실전 규칙과 사례(Megatron·DeepSeek·Llama 3).

CS336 7강 — 병렬화 1: 데이터 병렬과 ZeRO/FSDP

2026년 06월 26일

llm parallelism data-parallel fsdp cs336 language-modeling

Stanford CS336 7강(전반) 정리. 한 GPU를 넘어 데이터센터로 — 네트워킹 계층과 집합 통신(all-reduce = reduce-scatter + all-gather), 데이터 병렬의 파라미터당 16바이트 메모리 문제, 그리고 그 중복을 단계적으로 걷어내는 ZeRO 1·2·3(=FSDP).

← 모든 태그 보기