Cache-to-Cache: LLM 간 직접 의미 전달 (2025)

Cache-to-Cache는 LLM 간 의미 정보를 직접 전달하는 새로운 방식입니다.

Cache-to-Cache(C2C)는 여러 LLM이 KV-Cache를 교환하여 의미 정보를 직접 전달하는 통신 방법입니다. 기존의 텍스트 기반 통신(T2T)은 고차원 내부 표현을 문자열로 압축하면서 정보 손실이 발생하며, 자연어의 모호성과 토큰 단위의 생성 지연이라는 단점을 가지고 있습니다. C2C 방식은 이러한 문제를 해결할 수 있는 가능성을 제시합니다.

Cache-to-Cache is a new method for direct information exchange between LLMs.

Cache-to-Cache (C2C) is a new communication method that allows multiple LLMs to exchange meaning information directly via KV-Cache. The traditional Text-to-Text (T2T) method compresses high-dimensional internal representations into strings, leading to information loss and delays due to ambiguity and token-based generation. C2C potentially addresses these issues.