LLM의 연속적 적응을 위한 Fast-Slow 학습 프레임워크를 소개합니다.
대형 언어 모델(LLM)은 파라미터 업데이트를 통해 특정 작업에 적응하지만, 이는 재앙적인 망각을 초래할 수 있습니다. 이에 반해 고정된 파라미터에서의 맥락 학습은 저렴하고 빠르게 적응할 수 있지만, 업데이트를 통한 성능 향상에는 미치지 못합니다. 본 논문에서는 '느린' 가중치와 '빠른' 가중치를 이용한 Fast-Slow 학습 프레임워크를 도입하며, 이를 통해 재 reasoning 작업에서 3배 더 샘플 효율성을 보여주고, 재앙적인 망각을 줄입니다.
Introducing the Fast-Slow learning framework for LLMs to enable continuous adaptation.
Large language models (LLMs) adapt to specific tasks by updating their parameters, which can lead to catastrophic forgetting. In contrast, in-context learning with fixed parameters allows for rapid adaptation but often lacks the performance of updated models. This article presents a Fast-Slow learning framework that distinguishes between 'slow' weights and 'fast' weights, achieving up to 3x more sample efficiency across reasoning tasks while reducing forgetting. This method enables better adaptation to new tasks in continual learning scenarios.