vLLM 도구 호출 정확도 92%를 100%로: 제약 디코딩과 서빙 엔진의 기본값 (Ubicloud)

articles ai llm inference structured-output open-weight tool-calling vllm
Ubicloud 블로그의 'Fixing Tool-Call Accuracy in vLLM'을 분석·정리한다. vLLM으로 Kimi K2.6을 서빙할 때 92%에 그친 도구 호출 스키마 정확도를 XGrammar 기반 제약 디코딩으로 100%까지 끌어올린 과정과, vLLM이 그 기능을 기본으로 끈 이유를 읽고, Hacker News 토론(GeekNews 소...

젠슨 황이 말하는 '오픈 에이전트 시스템': 하니스가 회사의 운영체제가 되는 미래 (LangChain 대담)

articles ai agentic-engineering harness open-weight video
LangChain 채널에 올라온 젠슨 황(NVIDIA) × 해리슨 체이스(LangChain) 대담을 분석·정리한다. '지난 6개월이 모든 걸 바꿨다'는 진단부터, LLM을 감싸는 하니스, 오픈 웨이트 Nemotron 3 Ultra로 만드는 도메인 특화 슈퍼 에이전트, 그리고 '미래의 회사는 비즈니스 프로세스가 아니라 하니스 위에 세워진다'는 주장까지 ...