CS336 1강 — 개요와 토크나이제이션: BPE를 밑바닥부터
Stanford CS336 1강 정리. 코스를 관통하는 한 단어 '효율'에서 출발해, 텍스트를 토큰으로 바꾸는 토크나이제이션을 문자·바이트·단어 방식의 한계부터 BPE(Byte Pair Encoding) 밑바닥 구현까지 따라갑니다.
태그: bpe
'bpe' 태그가 포함된 1개의 포스트
Orc Hwang's Wiki
개발 학습 기록과 기술 지식을 체계적으로 관리하는 개인 위키입니다.