LLM에게도 잠이 필요하다: Google Research의 Sleep 프레임워크 — 기억 공고화와 꿈꾸기로 푸는 연속 학습

articles llm continual-learning catastrophic-forgetting distillation mixture-of-experts reinforcement-learning google
Google Research 블로그의 'The sleep framework: A new way for LLMs to retain knowledge in continual learning'(Ali Behrouz·Vahab Mirrokni, 2026-10-27)을 분석·정리한다. 깨어 있는 동안 쌓은 단기 기억을 '수면' 단계에서 확장된 장기 파라미터로 ...

턴으로 최적화하고, 토큰으로 나눈다: Multiscale Policy Optimization (MPO) — 장기 LLM 에이전트 RL의 크레딧 할당

articles paper llm reinforcement-learning credit-assignment ppo grpo agentic-engineering rlvr
IQuest 연구진의 arXiv 논문(2610.35013) 'Multiscale Policy Optimization for Long-Horizon LLM Agents'를 분석·정리한다. 멀티턴 에이전트에서 critic 가치가 토큰이 아니라 '턴' 사이에서 주로 변한다는 관찰에서 출발해, 턴 단위 GAE + 평균 보존 토큰 할당(MAE)과 턴 단위 im...