태그: speculative-decoding

'speculative-decoding' 태그가 포함된 1개의 포스트

CS336 10강 — 추론(Inference): KV 캐시와 메모리 한계의 게임

2026년 06월 26일

llm inference kv-cache speculative-decoding cs336 language-modeling

Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.

← 모든 태그 보기