태그: rlhf

'rlhf' 태그가 포함된 1개의 포스트

CS336 15강 — 정렬 (1): SFT와 RLHF

2026년 06월 26일

llm alignment rlhf dpo cs336 language-modeling

사전학습된 원석을 어시스턴트로 — SFT는 사전학습 행동을 추출할 뿐 새로 더하지 않고(모르는 사실을 학습하면 환각), 선호 데이터로 보상 모델(Bradley-Terry)을 세워 RLHF(PPO·KL 제약)로 사람 선호에 맞추고, 그 보상 모델마저 없애 버리는 DPO까지.

← 모든 태그 보기