단일 AMD MI300X에서 DeepSeek V4 Flash를 실행하기 위한 구성과 패치를 소개합니다.
이 글에서는 단일 AMD MI300X에서 DeepSeek V4 Flash를 실행하기 위한 구성 및 패치에 대해 설명합니다. 304B 매개변수의 DeepSeek-V4-Flash-0731을 사용하여, 추가 가중치 양자화나 오프로딩 없이 프로덕션 운영을 가능하게 합니다. MI300X의 192GB HBM3에 156.67GiB 가중치와 20GB GPU KV 캐시의 배치 방법도 다룹니다.
This article introduces configurations and patches to run DeepSeek V4 Flash on a single AMD MI300X.
The article discusses the configurations and patches necessary to run DeepSeek V4 Flash on a single AMD MI300X. It highlights the use of the 304B parameter of DeepSeek-V4-Flash-0731 for production operations without additional weight quantization or offloading. It also details the placement of 156.67GiB weights and 20GB GPU KV cache in the 192GB HBM3 of the MI300X.