'Astra가 가중치를 읽고 써서 Qwen을 고쳤다'는 글은 오해를 부른다 — 한 기법처럼 보이는 여러 기법 (Matthew Honnibal)

articles ai llm evaluation critical-thinking research interpretability
spaCy 저자 Matthew Honnibal의 'The Astra can read and write weights to improve Qwen post is misleading'(2026-11-03)을 분석한다. MIT CSAIL 연구진의 블로그 글 'Sparks of Weight-Space Programming'이 '원시 가중치만 보고' 읽고 쓰는...

JavaScript 프레임워크의 'AI 비용' — 같은 앱을 12개 프레임워크로 5번씩 에이전트에게 만들게 한 벤치마크 (Nolan Lawson)

articles ai coding-agent agentic-engineering javascript frontend benchmark evaluation performance mcp skills
Nolan Lawson의 블로그 글 'The AI cost of JavaScript frameworks'를 분석·정리한다. 같은 Pokémon 앱을 12개 JavaScript 프레임워크·메타 프레임워크로 코딩 에이전트(Opus 5.5)에게 5번씩 만들게 하고, 빌드 비용·Lighthouse 품질·코드 줄 수를 비교한 실험을 읽고, '에이전트에게 더 좋...

수학은 바뀌었다, 이제 그렇게 행동하자 — AI 이후 수학 공동체의 평가·채용·교육 개편 제안 (Frank Calegari, Terence Tao 블로그 기고)

articles ai mathematics research evaluation hiring skills ownership
Terence Tao의 블로그 'What's new'에 게스트 포스트로 실린 Frank Calegari의 'Mathematics has changed. Let's act like it'(2026-11-01)을 정리·분석한다. AI가 대량의 증명을 쏟아낸 뒤 수학자들이 느끼는 상실감을 유한 단순군 분류의 선례로 다시 읽고, '모든 연구를 AI 보조를 받...

에이전트가 사람을 프롬프트한다: Arca가 열흘짜리 자산관리 업무를 에이전트로 돌리는 법 (Latent Space)

articles ai agent-harness agentic-engineering agent-memory human-in-the-loop evaluation security fintech
Latent Space 팟캐스트 'Agents Prompt People: Using Agents for Long-Horizon Financial Work'(2026-10-31, Arca의 Aman Singh 출연)를 분석·정리한다. 최대 열흘 걸리는 자산관리 업무를 클라이언트별 메모리, 자체 하니스와 모델 티어 라우팅, 결정론적 가드레일, 샌드박스 코...

데이터 에이전트는 '진짜 분석'을 할 수 있을까 — Shreya Shankar가 말하는 Data Agent Bench·시맨틱 레이어·평가 (dbt Labs)

articles ai video evaluation benchmark semantic-layer agentic-engineering data-engineering
dbt Labs 채널의 Shreya Shankar 대담 'Can data agents do real analysis?'를, 영상을 직접 보지 않고 GeekNews 요약과 Data Agent Bench 논문·저장소, Shankar의 논문·블로그를 근거로 정리한다. SQL 생성만으로는 잴 수 없는 데이터 에이전트의 분석 능력, 리더보드 과적합, 시맨틱 레...

3.8B LLM을 $998로 사전학습하기: little-lm이 남긴 처리량·어블레이션·평가 교훈 (Hugo Vergnes)

articles llm pretraining transformer optimization evaluation benchmark gpu
Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.

같은 능력, 다른 행동: MCP와 CLI 인터페이스는 에이전트의 결정을 바꾼다 (MICA·DART, arXiv 2610.34298)

articles paper ai llm agentic-engineering mcp cli tool-calling evaluation
Shi·Pang·Li의 arXiv 논문 'Matched Capabilities, Different Behaviors'(2610.34298v1)를 분석·정리한다. 실행 가능한 능력을 똑같이 맞춘 MCP와 CLI 인터페이스가 6개 모델·3개 환경에서 성능·토큰 비용·실패 경로를 크게 다르게 만든다는 통제 실험(MICA)과, 결정은 그대로 두고 표현만 고치...

모델은 규칙을 몇 개까지 지킬 수 있나: Instruction Capacity와 부하 아래의 성능 저하 (Hennadii Kutomanov, arXiv:2610.36095)

articles paper ai llm evaluation benchmark prompt-engineering
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...

DAYJOB: Tax — 세무 전문가의 '하루 일'을 통째로 맡기면 에이전트는 몇 점일까 (Surge AI)

articles ai evaluation benchmark agentic-engineering judgment decision-making
Surge AI의 'DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work'를 분석·정리한다. 지저분한 실무 파일 더미 속에서 고객이 묻지 않은 중대한 쟁점까지 찾아 완성된 결과물로 끝내야 하는 50개 세무 과제에서, 최상위 모델도 통과율 10.8%에 그쳤다는 결과와 '지식·계산'이 아니라 '주도...

메모리 세금(Memory Tax): 에이전트 메모리는 정말 RAG보다 나은가 (Xuan He 외, arXiv:2610.34073)

articles paper ai llm agent-memory rag evaluation agentic-engineering
많은 전용 에이전트 메모리가 원본 기록을 그대로 검색하는 naive RAG보다 못하다는 관찰에서 출발해, 메모리의 순가치를 '이득'과 '세금'(충실성·접근성·강건성)으로 쪼개는 arXiv 논문 Memory Tax(2610.34073)를 정리한다. 세금이 생기는 경로와 설계 처방을 개발자 관점에서 짚는다.

Claude로 Claude를 출시하는 법: 두뇌와 손을 분리하라 — Anthropic 플랫폼 팀이 말하는 Opus 5.5의 뒷면 (Latent Space)

articles ai claude agent-harness agentic-engineering evaluation security ai-safety
Latent Space 팟캐스트 'How Anthropic ships Claude with Claude: Separating the Brain from the Hands'(2026-10-27, Katelyn Lesse·Angela Jiang 출연)를 분석·정리한다. 모델 출시가 곧 API 출시가 되는 이유, Managed Agents의 '두뇌와 손' ...

능력에 맞춰 진화하라: 약한 모델을 위한 스킬 적응과 하니스 자기 진화 (Zhihao Yang 외, arXiv:2610.33024)

articles paper ai llm agent-harness agentic-engineering evaluation agent-skills
Zhihao Yang 외 9인의 arXiv 논문 'Evolving to Match Capabilities'(2610.33024)를 분석·정리한다. 강한 모델을 끌어올리는 같은 스킬(SKILL.md)이 약한 모델에겐 무용하거나 해롭다는 관찰, 실패의 86%가 '이미 스킬에 적힌 요구사항'을 어긴 것이라는 진단, 그리고 네 가지 실패 유형을 고정된 메타 ...

추론 모델을 밑바닥부터: 8강·11시간짜리 코딩 강의 로드맵 (Sebastian Raschka)

articles llm reasoning inference evaluation rlvr grpo agent-harness
Sebastian Raschka가 Ahead of AI에 공개한 'Building Reasoning Models from the Ground Up'을 분석한다. 사전학습된 Qwen3 0.6B 위에 검증기 → 추론 시점 스케일링 → RLVR/GRPO → 증류를 PyTorch로 직접 쌓는 8강 커리큘럼의 구조를 정리하고, LLM·추론 모델·에이전트 하니스...

한계와 전망 — test-time compute 부재와 System One 시장 (JEV Essential 7단계)

llm inference evaluation structured-output calibration
JEV Essential 시리즈의 마지막 단계입니다. test-time compute 부재가 규정하는 판단 특화 모델의 능력 상한, 적대적 입력·도메인 이동·주관적 질문이라는 미검증 지대(도입 전 점검 목록 포함), 독립 벤치마크 부재 속 해자 논쟁의 남은 쟁점, 그리고 생성/판정 분리가 상품화되는 System One 시장의 전망까지 — 시리즈를 관통...

판단을 코드에 꽂기 — 확률 + 임계값 설계 패턴 (JEV Essential 6단계)

llm evaluation architecture structured-output
보정된 확률을 소프트웨어 부품으로 쓰는 법을 다룹니다. 파이프라인의 판단 지점을 발견·목록화하는 방법, 세 활용 영역(컨텍스트 찾기·작업 검사·의사결정)의 설계 패턴, 확률 + 임계값 + 폴백 아키텍처, 값싼 판정기를 triage로 배치하는 이유, 그리고 '지식 노동의 린터'라는 새 도구 계층까지 — 실전 Python 의사코드와 함께 정리합니다.

확률 보정 (Calibration) — 신뢰할 수 있는 확률의 조건과 RLCD (JEV Essential 4단계)

llm calibration evaluation
모델이 0.9라고 말할 때 실제로 90% 맞아야 그 확률을 if문에 꽂을 수 있습니다. 보정의 정의와 정확도와의 구분, 신경망이 과신하는 이유, reliability diagram·ECE 측정, 온도 스케일링의 원리와 한계, 도메인 이동 시 보정 붕괴가 임계값 자동화에 미치는 영향, 그리고 RLCD가 통상 RLHF와 목적 함수에서 어떻게 달라야 하는지...

판단의 계보 — 분류기, LLM-as-Judge, 판단 특화 모델 (JEV Essential 3단계)

llm evaluation classification lm-as-judge calibration
JEV Essential 3단계. '질문을 받아 확률을 돌려주는 모델'은 사실 오래된 물건입니다 — 전통적 지도학습 분류기가 정확히 그 일을 했습니다. 분류기(속도·보정 vs 태스크당 학습 데이터) → LLM-as-Judge(zero-shot 유연성 vs 파싱·비용·지연·편향) → 판단 특화 모델(유연성 + 확률)로 이어지는 계보를 따라가며, Jev가...

JEV Essential Curriculum — 판단 특화 모델의 배경·본질·활용

llm inference structured-output evaluation calibration curriculum
TypeSafe의 판단 특화 모델 Jev를 이해하기 위한 7단계 학습 로드맵입니다. 구조화 출력과 제약 디코딩, 추론 비용 구조, LLM-as-Judge, 확률 보정이라는 배경에서 출발해 System One 아키텍처의 본질을 해부하고, 확률+임계값 설계 패턴과 한계·전망까지 도장깨기로 정복합니다.

0.7초 만에 내 글 전부를 심사한 모델: TypeSafe Jev 미니 바이브 체크 (Mike Taylor)

articles ai llm agentic-engineering evaluation structured-output
Every의 'Also True for Humans' 칼럼에서 Mike Taylor가 TypeSafe의 판단 특화 모델 Jev를 직접 테스트한 글을 분석한다. 777개의 판단을 0.7초에, 0.25센트로 처리하는 모델이 '지식 노동의 린터'라는 새로운 도구 계층을 여는 과정 — 그리고 그것이 에이전트 검증 문제에 주는 함의를 정리한다.

GPT-6 Astra: 하니스가 곧 제품이다 (Few-Shot Academy, Mangat Rai)

articles ai llm agent-harness agentic-engineering evaluation
Few-Shot Academy의 Mangat Rai가 쓴 'GPT-6 Astra: the harness is the product'를 분석·정리한다. Astra의 진짜 혁신은 모델이 아니라 메모리·도구·컨텍스트·제어를 묶은 런타임 하니스라는 주장과, 같은 모델이 하니스에 따라 54.8% vs 99.9%로 갈리는 45.1포인트 격차, 그리고 '2회 평가...

CS336 12강 — 평가(Evaluation): 하나의 참된 평가는 없다

llm evaluation benchmark lm-as-judge cs336 language-modeling
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.