Scaling LLMs horizontally: hidden-state coupling without weight modification [R]

Residual Coupling을 이용한 LLM의 수평 확장 및 성능 개선 방법.

Residual Coupling(RC)은 고정된 언어 모델을 병렬로 연결하는 아키텍처입니다. 작은 학습된 선형 브리지를 사용하여 서로 다른 모델의 히든 상태를 연결하여 성능을 향상시킵니다. RC는 MoE와 비교하여 의료 데이터와 코드 테스트에서 현저한 성능 개선을 보여주며, 모델의 가중치를 변경하지 않고도 안정적인 업데이트를 제공합니다. 이 구조는 다수의 모델이 상호 보완적으로 작동하게 해줍니다.

Method for horizontally scaling LLMs using Residual Coupling for improved performance.

Residual Coupling (RC) connects frozen language models in parallel using small, learned linear bridges. These bridges facilitate performance improvements by connecting hidden states without modifying base weights. The analysis shows RC outperforming Mixture-of-Experts (MoE) in medical and coding tests, leading to significant reductions in perplexity and improvement in accuracy. This framework provides a means for multi-model systems to operate synergistically.