spaCy 저자 Matthew Honnibal의 'The Astra can read and write weights to improve Qwen post is misleading'(2026-11-03)을 분석한다. MIT CSAIL 연구진의 블로그 글 'Sparks of Weight-Space Programming'이 '원시 가중치만 보고' 읽고 쓰는...
Nolan Lawson의 블로그 글 'The AI cost of JavaScript frameworks'를 분석·정리한다. 같은 Pokémon 앱을 12개 JavaScript 프레임워크·메타 프레임워크로 코딩 에이전트(Opus 5.5)에게 5번씩 만들게 하고, 빌드 비용·Lighthouse 품질·코드 줄 수를 비교한 실험을 읽고, '에이전트에게 더 좋...
Terence Tao의 블로그 'What's new'에 게스트 포스트로 실린 Frank Calegari의 'Mathematics has changed. Let's act like it'(2026-11-01)을 정리·분석한다. AI가 대량의 증명을 쏟아낸 뒤 수학자들이 느끼는 상실감을 유한 단순군 분류의 선례로 다시 읽고, '모든 연구를 AI 보조를 받...
Latent Space 팟캐스트 'Agents Prompt People: Using Agents for Long-Horizon Financial Work'(2026-10-31, Arca의 Aman Singh 출연)를 분석·정리한다. 최대 열흘 걸리는 자산관리 업무를 클라이언트별 메모리, 자체 하니스와 모델 티어 라우팅, 결정론적 가드레일, 샌드박스 코...
dbt Labs 채널의 Shreya Shankar 대담 'Can data agents do real analysis?'를, 영상을 직접 보지 않고 GeekNews 요약과 Data Agent Bench 논문·저장소, Shankar의 논문·블로그를 근거로 정리한다. SQL 생성만으로는 잴 수 없는 데이터 에이전트의 분석 능력, 리더보드 과적합, 시맨틱 레...
Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.
Shi·Pang·Li의 arXiv 논문 'Matched Capabilities, Different Behaviors'(2610.34298v1)를 분석·정리한다. 실행 가능한 능력을 똑같이 맞춘 MCP와 CLI 인터페이스가 6개 모델·3개 환경에서 성능·토큰 비용·실패 경로를 크게 다르게 만든다는 통제 실험(MICA)과, 결정은 그대로 두고 표현만 고치...
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...
Surge AI의 'DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work'를 분석·정리한다. 지저분한 실무 파일 더미 속에서 고객이 묻지 않은 중대한 쟁점까지 찾아 완성된 결과물로 끝내야 하는 50개 세무 과제에서, 최상위 모델도 통과율 10.8%에 그쳤다는 결과와 '지식·계산'이 아니라 '주도...
많은 전용 에이전트 메모리가 원본 기록을 그대로 검색하는 naive RAG보다 못하다는 관찰에서 출발해, 메모리의 순가치를 '이득'과 '세금'(충실성·접근성·강건성)으로 쪼개는 arXiv 논문 Memory Tax(2610.34073)를 정리한다. 세금이 생기는 경로와 설계 처방을 개발자 관점에서 짚는다.
Latent Space 팟캐스트 'How Anthropic ships Claude with Claude: Separating the Brain from the Hands'(2026-10-27, Katelyn Lesse·Angela Jiang 출연)를 분석·정리한다. 모델 출시가 곧 API 출시가 되는 이유, Managed Agents의 '두뇌와 손' ...
Zhihao Yang 외 9인의 arXiv 논문 'Evolving to Match Capabilities'(2610.33024)를 분석·정리한다. 강한 모델을 끌어올리는 같은 스킬(SKILL.md)이 약한 모델에겐 무용하거나 해롭다는 관찰, 실패의 86%가 '이미 스킬에 적힌 요구사항'을 어긴 것이라는 진단, 그리고 네 가지 실패 유형을 고정된 메타 ...
Sebastian Raschka가 Ahead of AI에 공개한 'Building Reasoning Models from the Ground Up'을 분석한다. 사전학습된 Qwen3 0.6B 위에 검증기 → 추론 시점 스케일링 → RLVR/GRPO → 증류를 PyTorch로 직접 쌓는 8강 커리큘럼의 구조를 정리하고, LLM·추론 모델·에이전트 하니스...
JEV Essential 시리즈의 마지막 단계입니다. test-time compute 부재가 규정하는 판단 특화 모델의 능력 상한, 적대적 입력·도메인 이동·주관적 질문이라는 미검증 지대(도입 전 점검 목록 포함), 독립 벤치마크 부재 속 해자 논쟁의 남은 쟁점, 그리고 생성/판정 분리가 상품화되는 System One 시장의 전망까지 — 시리즈를 관통...
보정된 확률을 소프트웨어 부품으로 쓰는 법을 다룹니다. 파이프라인의 판단 지점을 발견·목록화하는 방법, 세 활용 영역(컨텍스트 찾기·작업 검사·의사결정)의 설계 패턴, 확률 + 임계값 + 폴백 아키텍처, 값싼 판정기를 triage로 배치하는 이유, 그리고 '지식 노동의 린터'라는 새 도구 계층까지 — 실전 Python 의사코드와 함께 정리합니다.
모델이 0.9라고 말할 때 실제로 90% 맞아야 그 확률을 if문에 꽂을 수 있습니다. 보정의 정의와 정확도와의 구분, 신경망이 과신하는 이유, reliability diagram·ECE 측정, 온도 스케일링의 원리와 한계, 도메인 이동 시 보정 붕괴가 임계값 자동화에 미치는 영향, 그리고 RLCD가 통상 RLHF와 목적 함수에서 어떻게 달라야 하는지...
JEV Essential 3단계. '질문을 받아 확률을 돌려주는 모델'은 사실 오래된 물건입니다 — 전통적 지도학습 분류기가 정확히 그 일을 했습니다. 분류기(속도·보정 vs 태스크당 학습 데이터) → LLM-as-Judge(zero-shot 유연성 vs 파싱·비용·지연·편향) → 판단 특화 모델(유연성 + 확률)로 이어지는 계보를 따라가며, Jev가...
TypeSafe의 판단 특화 모델 Jev를 이해하기 위한 7단계 학습 로드맵입니다. 구조화 출력과 제약 디코딩, 추론 비용 구조, LLM-as-Judge, 확률 보정이라는 배경에서 출발해 System One 아키텍처의 본질을 해부하고, 확률+임계값 설계 패턴과 한계·전망까지 도장깨기로 정복합니다.
Every의 'Also True for Humans' 칼럼에서 Mike Taylor가 TypeSafe의 판단 특화 모델 Jev를 직접 테스트한 글을 분석한다. 777개의 판단을 0.7초에, 0.25센트로 처리하는 모델이 '지식 노동의 린터'라는 새로운 도구 계층을 여는 과정 — 그리고 그것이 에이전트 검증 문제에 주는 함의를 정리한다.
Few-Shot Academy의 Mangat Rai가 쓴 'GPT-6 Astra: the harness is the product'를 분석·정리한다. Astra의 진짜 혁신은 모델이 아니라 메모리·도구·컨텍스트·제어를 묶은 런타임 하니스라는 주장과, 같은 모델이 하니스에 따라 54.8% vs 99.9%로 갈리는 45.1포인트 격차, 그리고 '2회 평가...
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.