Evaluating long-term memory limits in stateless LLM chatbots — feedback needed [D]

상태 없는 LLM 챗봇의 장기 기억 한계를 평가하는 연구 프로젝트.

이 글은 상태 없는 LLM 기반 챗봇이 긴 대화를 처리하는 방식을 연구하는 프로젝트에 대한 논의입니다. 작성자는 초기 대화 중에 중요한 사실을 도입하고, 이후 수백 개의 비관련 메시지를 통해 모델이 그 사실을 얼마나 잘 기억하는지 검증하려고 합니다. 연구의 유효성, 사용되는 벤치마크 또는 방법, 더 강력한 평가 지표에 대한 피드백을 요청하고 있습니다.

Research project evaluating long-term memory limits in stateless LLM chatbots.

This post discusses a research project exploring how stateless LLM-based chatbots handle long conversations. The author plans to introduce important facts early in the conversation and test the chatbot's memory recall after many unrelated messages, seeking feedback on the evaluation's validity, benchmarks, and metrics. Suggestions and criticisms are welcomed to strengthen the evaluation framework.