AMD MI355X에서 Kimi K3를 실행해 B300보다 높은 달러당 성능을 달성했다.
Kimi K3는 2.8조 매개변수를 가진 모델로, 8개의 AMD MI355X에서 실행되어 총 952 tok/s와 단일 스트림 118 tok/s의 성능을 기록했다. B300의 총 처리량은 MI355X보다 더 높지만, MI355X의 GPU 시간당 가격이 더 저렴해 달러당 처리량에서 우위를 점했다. 이 결과는 저렴한 하드웨어로 높은 성능을 달성할 수 있음을 보여준다.
Kimi K3 achieves higher dollar performance than B300 running on AMD MI355X.
The Kimi K3 model, with 2.8 trillion parameters, runs on eight AMD MI355X GPUs, achieving a total of 952 tok/s and a single stream of 118 tok/s. Although B300 has a higher total throughput, the MI355X is approximately 2.4 times cheaper per GPU hour, resulting in a superior dollar throughput performance. This demonstrates the potential to achieve high performance with more affordable hardware.