토크나이저를 모델 안으로: Cartesia 'From Tokens to Bytes I' — H-Net 스케일링 분석
Cartesia Research의 'From Tokens to Bytes I: Scaling Hierarchical Networks'를 분석한다. 고정된 BPE 토크나이저 대신 모델 안에서 바이트를 동적으로 묶는 H-Net이 계산 최적 스케일링 사다리, 3B급 학습, 학습된 청킹의 질적 분석, DNA·이미지 확장에서 무엇을 보였는지 정리하고, 수치를 ...