M1/M2 맥에서 2GB RAM으로 Gemma 4 26B 모델을 실행할 수 있는 오픈소스 엔진 TurboFieldfare를 소개합니다.
TurboFieldfare는 Swift와 Metal로 작성된 엔진으로, 4비트 Gemma 4 26B-A4B-IT 모델을 M-시리즈 Mac에서 2GB의 RAM만으로 실행할 수 있도록 설계되었습니다. 개발자는 OS와 애플리케이션이 있는 상황에서도 메모리에 적재할 수 없는 모델의 가중치를 효과적으로 처리하는 방법을 모색했습니다. 이를 통해 M2 맥북 에어에서 초당 5-6개의 토큰을, M5 맥북 프로에서 31-35개의 토큰을 생성할 수 있습니다. GitHub 리포지토리에 더 많은 실험 결과가 담겨 있습니다.
Introducing TurboFieldfare, an open-source engine running Gemma 4 26B model on M-series Macs with only 2GB RAM.
TurboFieldfare is an inference engine crafted in Swift and Metal for running the 4-bit Gemma 4 26B-A4B-IT model on M-series Macs using just 2GB of RAM. The developer explored effective methods to handle the model's weights that can't fit into memory, even with an OS and applications loaded. The engine achieves 5–6 tokens per second on an M2 MacBook Air and 31–35 tokens on an M5 MacBook Pro. More experimental results can be found in the GitHub repository.