태그: mixture-of-experts

'mixture-of-experts' 태그가 포함된 3개의 포스트

LLM에게도 잠이 필요하다: Google Research의 Sleep 프레임워크 — 기억 공고화와 꿈꾸기로 푸는 연속 학습

2026년 10월 31일

articles llm continual-learning catastrophic-forgetting distillation mixture-of-experts reinforcement-learning google

Google Research 블로그의 'The sleep framework: A new way for LLMs to retain knowledge in continual learning'(Ali Behrouz·Vahab Mirrokni, 2026-10-27)을 분석·정리한다. 깨어 있는 동안 쌓은 단기 기억을 '수면' 단계에서 확장된 장기 파라미터로 ...

Grace Blackwell에는 새 스케줄러가 필요하다: NVL72 랙을 '한 대의 서버'로 다루는 법 (SkyPilot)

2026년 10월 30일

articles ai gpu parallelism mixture-of-experts inference distributed-systems fault-tolerance infrastructure

SkyPilot 블로그의 'Grace Blackwell needs a new scheduler'를 분석한다. NVL72 랙의 NVLink 이점은 작업이 한 랙 안에 놓일 때만 생긴다는 주장과 '16노드 슬라이스 + 예비 노드 2개' 설계를 정리하고, 일반적인 기술 논지와 자사 제품 홍보를 분리해 평가한다.

CS336 4강 — Mixture of Experts: 연산은 그대로, 파라미터만 키우기

2026년 06월 26일

llm moe mixture-of-experts deepseek cs336 language-modeling

Stanford CS336 4강 정리. Dense FFN을 라우터 + 여러 전문가로 바꿔 FLOPs는 그대로 두고 파라미터만 키우는 MoE — token-choice top-k 라우팅, fine-grained·shared 전문가, 부하 분산 손실과 DeepSeek V3의 보조손실 없는 균형, 그리고 MLA·MTP까지.

← 모든 태그 보기