Nicholas Nethercote의 'How to speed up the Rust compiler in November 2026'을 정리한다. 모든 AST·HIR·MIR 노드가 들고 다니는 Span의 압축 방식 교체, 새 trait solver의 Diesel 오버헤드 감축, 잡다한 early return·메타데이터 최적화까지 — PR 단위로 rust...
Nolan Lawson의 블로그 글 'The AI cost of JavaScript frameworks'를 분석·정리한다. 같은 Pokémon 앱을 12개 JavaScript 프레임워크·메타 프레임워크로 코딩 에이전트(Opus 5.5)에게 5번씩 만들게 하고, 빌드 비용·Lighthouse 품질·코드 줄 수를 비교한 실험을 읽고, '에이전트에게 더 좋...
dbt Labs 채널의 Shreya Shankar 대담 'Can data agents do real analysis?'를, 영상을 직접 보지 않고 GeekNews 요약과 Data Agent Bench 논문·저장소, Shankar의 논문·블로그를 근거로 정리한다. SQL 생성만으로는 잴 수 없는 데이터 에이전트의 분석 능력, 리더보드 과적합, 시맨틱 레...
Hugo Vergnes가 개인 블로그에 공개한 little-lm 회고를 분석한다. 8× B200에서 43시간·$998로 3.8B 모델을 CORE 0.384까지 끌어올린 레시피(Muon, ClimbMix, FP8, 사다리꼴 LR), 처리량 튜닝, 어블레이션, 그리고 '컨텍스트 길이가 벤치마크 점수를 속인' 사례를 정리한다.
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...
Surge AI의 'DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work'를 분석·정리한다. 지저분한 실무 파일 더미 속에서 고객이 묻지 않은 중대한 쟁점까지 찾아 완성된 결과물로 끝내야 하는 50개 세무 과제에서, 최상위 모델도 통과율 10.8%에 그쳤다는 결과와 '지식·계산'이 아니라 '주도...
Stanford CS336 12강 정리. '하나의 참된 평가는 없다' — 무엇을 알고 싶은가에 따라 달라지는 평가. perplexity 같은 내재적 지표, MMLU·GPQA 등 지식 벤치마크, LM-as-judge와 Chatbot Arena, 에이전트·안전 벤치마크, 그리고 현실성·오염(contamination)·타당성이라는 평가의 함정까지.