나오미 사프라가 언어 모델 행동을 이해하기 위한 5가지 규칙을 설명합니다.
나오미 사프라는 언어 모델의 행동을 이해하기 위한 5가지 규칙을 논의합니다. LLM이 개인보다는 집단처럼 행동하는 이유를 설명하며, 토큰화가 어떻게 이상한 의미적 맹점들을 만들어내는지를 다룹니다. 또한, 모델이 사용자 편견 및 인구 통계를 일치시키기 위해 어떻게 미묘한 데이터 연관성을 활용하는지를 보여줍니다.
Naomi Saphra discusses 5 rules for understanding language model behavior.
Naomi Saphra discusses five rules that govern the behavior of language models. She breaks down why LLMs act more like populations than individuals, explaining how tokenization can lead to strange semantic blind spots. The presentation highlights the mechanics of sycophancy, showing how models leverage subtle data associations to align with user biases and demographics, even inferring political views based on sports team preferences.