사용자 문서를 프롬프트 대신 가중치로 활용하는 LLM 연구 소개.
이 연구는 사용자가 제공한 문서의 정보를 매번 프롬프트로 처리하는 대신, 모델의 가중치 조정값에 포함하는 방법을 다룹니다. 기존의 모델은 고정된 상태에서 하이퍼네트워크를 사용해 소규모 가중치 변화를 도입하며, 대화의 맥락에 따라 필요한 조정값을 주기적으로 갱신합니다. 이러한 접근 방식은 LLM의 응답을 더욱 동적으로 만들 수 있는 가능성을 제시합니다.
Research on integrating user documents into LLM weights instead of prompts.
This research explores a method of utilizing user-provided documents not as prompts but as part of the model's weight adjustments. The existing model remains fixed while employing a hypernetwork to induce small weight changes, continuously updating necessary adjustments based on ongoing conversation context. This approach indicates the potential for making LLM responses more dynamic.