SkyPilot 블로그의 'Grace Blackwell needs a new scheduler'를 분석한다. NVL72 랙의 NVLink 이점은 작업이 한 랙 안에 놓일 때만 생긴다는 주장과 '16노드 슬라이스 + 예비 노드 2개' 설계를 정리하고, 일반적인 기술 논지와 자사 제품 홍보를 분리해 평가한다.
Ubicloud 블로그의 'Fixing Tool-Call Accuracy in vLLM'을 분석·정리한다. vLLM으로 Kimi K2.6을 서빙할 때 92%에 그친 도구 호출 스키마 정확도를 XGrammar 기반 제약 디코딩으로 100%까지 끌어올린 과정과, vLLM이 그 기능을 기본으로 끈 이유를 읽고, Hacker News 토론(GeekNews 소...
Sebastian Raschka가 Ahead of AI에 공개한 'Building Reasoning Models from the Ground Up'을 분석한다. 사전학습된 Qwen3 0.6B 위에 검증기 → 추론 시점 스케일링 → RLVR/GRPO → 증류를 PyTorch로 직접 쌓는 8강 커리큘럼의 구조를 정리하고, LLM·추론 모델·에이전트 하니스...
Cloudflare 블로그의 GLM-5.3 Workers AI 교차 요청 KV 캐시 노출 사고 보고서를 분석합니다. 설정 불일치와 SGLang disaggregated prefill/decode 거절 경로 버그가 겹쳐 다른 고객의 데이터가 응답에 섞인 경위, 타임라인, 즉시 조치와 장기 하드닝을 정리합니다.
Archer Hume의 'Jev's Architecture Unmasked'를 분석·정리한다. TypeSafe가 연구를 공개하지 않는 판단 특화 모델 Jev를 체계적 API 프로빙으로 역공학해 — 공유 상태 인코딩, 격리된 질문 브랜치, 텍스트 생성 없는 직접 확률 readout, listwise 선택지 상호작용, MoE 추정까지 — 가장 그럴듯한 아...
JEV Essential 시리즈의 마지막 단계입니다. test-time compute 부재가 규정하는 판단 특화 모델의 능력 상한, 적대적 입력·도메인 이동·주관적 질문이라는 미검증 지대(도입 전 점검 목록 포함), 독립 벤치마크 부재 속 해자 논쟁의 남은 쟁점, 그리고 생성/판정 분리가 상품화되는 System One 시장의 전망까지 — 시리즈를 관통...
TypeSafe Jev의 System One 아키텍처를 해부합니다. 구조화 출력 전용 설계와 70ms~500ms 지연 프로파일, Doom 실시간 시연에서 출발해, prefill + 단일 토큰 constrained decoding으로 속도를 재현한 Sean Goedecke의 반박을 검토하고 — 차별점이 아키텍처 층인가 추론 전략 층인가를 증거 기반으로 ...
prefill은 왜 병렬적이고 싸며, generation은 왜 토큰당 순차 비용을 내는가. KV 캐시와 메모리 대역폭이 만드는 비용 비대칭을 해부하고, 'prefill + 선택지 제약 1토큰' 전략이 왜 2~3배 가속을 만드는지, 단일 토큰 출력에서 표준 배칭이 지연 상한을 낮추는 이유를 계산으로 설명합니다.
JEV Essential 1단계 — LLM이 JSON 같은 형식을 100% 보장하는 원리를 해부합니다. 프롬프트 구슬리기에서 JSON mode·function calling을 거쳐 grammar-constrained decoding(문법 상태 기계 + logit 마스킹)에 이르는 계보를 따라가고, '형식 보장 ≠ 내용 정확성'이라는 핵심 구분과 유한 ...
TypeSafe의 판단 특화 모델 Jev를 이해하기 위한 7단계 학습 로드맵입니다. 구조화 출력과 제약 디코딩, 추론 비용 구조, LLM-as-Judge, 확률 보정이라는 배경에서 출발해 System One 아키텍처의 본질을 해부하고, 확률+임계값 설계 패턴과 한계·전망까지 도장깨기로 정복합니다.
Sean Goedecke의 'Jev means structured output is interesting again'을 분석·정리한다. TypeSafe AI의 'System One' 모델 Jev가 자기회귀 생성을 버리고 구조화 출력만 내보내며 70ms~500ms 응답을 달성한 것의 의미 — 그리고 그 속도가 기존 LLM의 prefill + 단일 토큰 ...
앞선 Stage 5에서 학습한 모델을 Ray Serve로 로컬 HTTP 엔드포인트에 배포합니다. @serve.deployment와 serve.run으로 모델을 띄우고, deployment graph와 FastAPI 인그레스로 여러 모델을 조합하며, 로컬 스케일(num_replicas·배칭·동시성)과 그 주의점을 다룹니다.
Stanford CS336 10강 정리. 추론은 왜 메모리 한계인가 — prefill vs generation, KV 캐시의 정체, 그것을 줄이는 아키텍처(GQA·MLA·local attention)와 트랜스포머 너머(SSM·diffusion), 그리고 양자화·speculative decoding·PagedAttention까지.
