태그: gpu

3.8B LLM을 $998로 사전학습하기: little-lm이 남긴 처리량·어블레이션·평가 교훈 (Hugo Vergnes)

2026년 10월 31일

articles llm pretraining transformer optimization evaluation benchmark gpu

Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.

Grace Blackwell에는 새 스케줄러가 필요하다: NVL72 랙을 '한 대의 서버'로 다루는 법 (SkyPilot)

2026년 10월 30일

articles ai gpu parallelism mixture-of-experts inference distributed-systems fault-tolerance infrastructure

SkyPilot 블로그의 'Grace Blackwell needs a new scheduler'를 분석한다. NVL72 랙의 NVLink 이점은 작업이 한 랙 안에 놓일 때만 생긴다는 주장과 '16노드 슬라이스 + 예비 노드 2개' 설계를 정리하고, 일반적인 기술 논지와 자사 제품 홍보를 분리해 평가한다.

CS336 5강 — GPU: 병목은 연산이 아니라 메모리다

2026년 06월 26일

llm gpu cuda flash-attention cs336 language-modeling

Stanford CS336 5강 정리. GPU를 마법이 아니라 구조로 이해하기 — SM·메모리 계층·SIMT 실행 모델, 루프라인과 산술 강도, 그리고 정밀도·퓨전·재계산·코얼레싱·타일링이라는 6가지 도구로 메모리 병목을 줄여 Flash Attention에 이르는 길.