vLLM 도구 호출 정확도 92%를 100%로: 제약 디코딩과 서빙 엔진의 기본값 (Ubicloud)
Ubicloud 블로그의 'Fixing Tool-Call Accuracy in vLLM'을 분석·정리한다. vLLM으로 Kimi K2.6을 서빙할 때 92%에 그친 도구 호출 스키마 정확도를 XGrammar 기반 제약 디코딩으로 100%까지 끌어올린 과정과, vLLM이 그 기능을 기본으로 끈 이유를 읽고, Hacker News 토론(GeekNews 소...