JavaScript 프레임워크의 'AI 비용' — 같은 앱을 12개 프레임워크로 5번씩 에이전트에게 만들게 한 벤치마크 (Nolan Lawson)

articles ai coding-agent agentic-engineering javascript frontend benchmark evaluation performance mcp skills
Nolan Lawson의 블로그 글 'The AI cost of JavaScript frameworks'를 분석·정리한다. 같은 Pokémon 앱을 12개 JavaScript 프레임워크·메타 프레임워크로 코딩 에이전트(Opus 5.5)에게 5번씩 만들게 하고, 빌드 비용·Lighthouse 품질·코드 줄 수를 비교한 실험을 읽고, '에이전트에게 더 좋...

데이터 에이전트는 '진짜 분석'을 할 수 있을까 — Shreya Shankar가 말하는 Data Agent Bench·시맨틱 레이어·평가 (dbt Labs)

articles ai video evaluation benchmark semantic-layer agentic-engineering data-engineering
dbt Labs 채널의 Shreya Shankar 대담 'Can data agents do real analysis?'를, 영상을 직접 보지 않고 GeekNews 요약과 Data Agent Bench 논문·저장소, Shankar의 논문·블로그를 근거로 정리한다. SQL 생성만으로는 잴 수 없는 데이터 에이전트의 분석 능력, 리더보드 과적합, 시맨틱 레...

3.8B LLM을 $998로 사전학습하기: little-lm이 남긴 처리량·어블레이션·평가 교훈 (Hugo Vergnes)

articles llm pretraining transformer optimization evaluation benchmark gpu
Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.

모델은 규칙을 몇 개까지 지킬 수 있나: Instruction Capacity와 부하 아래의 성능 저하 (Hennadii Kutomanov, arXiv:2610.36095)

articles paper ai llm evaluation benchmark prompt-engineering
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...

DAYJOB: Tax — 세무 전문가의 '하루 일'을 통째로 맡기면 에이전트는 몇 점일까 (Surge AI)

articles ai evaluation benchmark agentic-engineering judgment decision-making
Surge AI의 'DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work'를 분석·정리한다. 지저분한 실무 파일 더미 속에서 고객이 묻지 않은 중대한 쟁점까지 찾아 완성된 결과물로 끝내야 하는 50개 세무 과제에서, 최상위 모델도 통과율 10.8%에 그쳤다는 결과와 '지식·계산'이 아니라 '주도...

CS336 12강 — 평가(Evaluation): 하나의 참된 평가는 없다

llm evaluation benchmark lm-as-judge cs336 language-modeling
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.