TurboFieldfare - 모든 M 시리즈 Mac에서 Gemma 4 26B를 2GB RAM으로 실행하는 오픈소스 엔진

TurboFieldfare는 모든 M 시리즈 Mac에서 Gemma 4 26B를 2GB RAM으로 실행하는 오픈소스 엔진이다.

TurboFieldfare는 14.3GB 모델 전체를 메모리에 올리지 않고 2GB의 메모리로 Gemma 4 26B-A4B를 실행할 수 있게 해줍니다. 이를 통해 8GB Apple Silicon Mac에서도 로컬 추론이 가능해집니다. 이 엔진은 1.35GB의 공유 코어와 FP16 KV 캐시를 사용하며, 필요한 MoE 전문가 가중치를 SSD에서 스트리밍합니다.

TurboFieldfare is an open-source engine that runs Gemma 4 26B on all M series Macs with just 2GB of RAM.

TurboFieldfare enables the execution of a 14.3GB model, Gemma 4 26B-A4B, on just 2GB of memory without loading the whole model. This capability allows local inference even on 8GB Apple Silicon Macs. The engine uses a shared core of 1.35GB and FP16 KV cache, streaming necessary MoE expert weights from the SSD.