태그: scaling-laws

토크나이저를 모델 안으로: Cartesia 'From Tokens to Bytes I' — H-Net 스케일링 분석

2026년 10월 29일

articles llm tokenization bpe scaling-laws h-net byte-level-modeling

Cartesia Research의 'From Tokens to Bytes I: Scaling Hierarchical Networks'를 분석한다. 고정된 BPE 토크나이저 대신 모델 안에서 바이트를 동적으로 묶는 H-Net이 계산 최적 스케일링 사다리, 3B급 학습, 학습된 청킹의 질적 분석, DNA·이미지 확장에서 무엇을 보였는지 정리하고, 수치를 ...

CS336 11강 — 스케일링 법칙 2: 실전 레시피와 muP

2026년 06월 26일

llm scaling-laws mup hyperparameter-transfer cs336 language-modeling

Stanford CS336 11강 정리. 실전 LLM 빌더가 스케일링 법칙을 쓰는 법 — Cerebras·MiniCPM·DeepSeek 사례, WSD 학습률로 Chinchilla를 한 번에, '20토큰/파라미터는 출발점일 뿐', 그리고 하이퍼파라미터를 스케일에 불변으로 만드는 muP의 유도와 한계.

CS336 9강 — 스케일링 법칙 1: 작게 실험해 크게 예측하기

2026년 06월 26일

llm scaling-laws chinchilla cs336 language-modeling

Stanford CS336 9강 정리. 손실이 데이터·모델·연산의 거듭제곱으로 줄어드는 스케일링 법칙 — 왜 멱법칙이 자연스러운가, 작은 모델로 아키텍처·하이퍼파라미터를 정하는 법, 그리고 컴퓨트 최적 배분을 알려주는 Chinchilla(파라미터당 20토큰)와 추론을 생각한 over-training.