턴으로 최적화하고, 토큰으로 나눈다: Multiscale Policy Optimization (MPO) — 장기 LLM 에이전트 RL의 크레딧 할당
IQuest 연구진의 arXiv 논문(2610.35013) 'Multiscale Policy Optimization for Long-Horizon LLM Agents'를 분석·정리한다. 멀티턴 에이전트에서 critic 가치가 토큰이 아니라 '턴' 사이에서 주로 변한다는 관찰에서 출발해, 턴 단위 GAE + 평균 보존 토큰 할당(MAE)과 턴 단위 im...