13년된 Xeon CPU로 Gemma 4 26B를 실행하는 성과에 대해 설명합니다.
2013년형 듀얼 Xeon E5-2690 v2와 DDR3로 구성된 서버에서 Gemma 4 26B-A4B Q8_0을 CPU만으로 성공적으로 구동했습니다. 디코딩과 프롬프트 평가에서 각각 5.2토큰/초와 16토큰/초를 달성하며, GPU 없이도 높은 성능을 보였습니다. 이 구현 사례는 구형 하드웨어에서도 최신 모델을 활용할 수 있는 가능성을 보여줍니다.
Discussion on running Gemma 4 26B on a 13-year-old Xeon CPU.
This article details the successful operation of the Gemma 4 26B-A4B Q8_0 on a server equipped with a 2013 dual Xeon E5-2690 v2 and DDR3 RAM. Achieving decoding speeds of 5.2 tokens/second and prompt evaluation of 16 tokens/second demonstrates impressive performance without GPU assistance. This case study highlights the potential of utilizing older hardware for running modern models.