모델은 규칙을 몇 개까지 지킬 수 있나: Instruction Capacity와 부하 아래의 성능 저하 (Hennadii Kutomanov, arXiv:2610.36095)

articles paper ai llm evaluation benchmark prompt-engineering
Hennadii Kutomanov의 arXiv 논문 Instruction Capacity(2610.36095)를 분석·정리한다. '단어 하나를 다른 단어로 바꾸라'는 원자적 규칙을 부하 단위로 삼아, GPT-4o mini가 동시에 몇 개의 규칙을 95% 정확도로 지키는지(약 37~38개)를 불확실성과 함께 측정하는 계측 도구와 그 '여권(passpor...