Kimi Linear는 표현력과 효율을 높인 어텐션 아키텍처로 높은 성능을 발휘합니다.
Kimi Linear는 KDA와 MLA를 3:1로 조합한 하이브리드 구조를 가지고 있습니다. 이 구조는 동일한 학습 조건 하에서 MLA보다 단기 및 장기 문맥 처리에서 우수한 성능을 보입니다. 핵심 모듈인 Kimi Delta Attention은 Gated DeltaNet의 기능을 활용하여 효율적인 처리를 지원합니다.
Kimi Linear is an attention architecture that enhances expressiveness and efficiency with superior performance.
Kimi Linear features a hybrid architecture that combines KDA and MLA in a 3:1 ratio. Under the same learning conditions, it outperforms traditional MLA in both short- and long-term context processing. The core module, Kimi Delta Attention, utilizes Gated DeltaNet's capabilities for efficient performance.