LLM 아키텍처의 최근 동향: KV 공유, mHC, 그리고 압축 어텐션

최근 LLM 아키텍처의 동향과 성능 향상을 위한 새로운 기법들이 소개된다.

이 기사는 최근 공개된 오픈 웨이트 LLM들이 장문 컨텍스트 효율성을 높이기 위해 KV 캐시 크기와 메모리 트래픽을 개선하려는 여러 아키텍처 트릭에 대해 다룬다. 특히, 계층 간 KV 공유 및 압축 어텐션과 같은 기술들이 언급된다. 이는 LLM의 성능과 메모리 사용 최적화에 중요한 역할을 한다.

Recent trends in LLM architecture focus on improving context efficiency with innovative techniques.

This article discusses how recently released open-weight LLMs are concentrating on improving long-context efficiency through various architectural tricks to reduce KV cache size and memory traffic. It highlights techniques such as cross-layer KV sharing and compressed attention, which are crucial for optimizing the performance and memory usage of LLMs.