Cactus에서 출시한 Needle2는 14MB LLM으로 저전력 모바일 기기에서 높은 성능을 발휘합니다.
Cactus에서 새롭게 출시한 Needle2는 14MB 크기의 agentic LLM으로, 스마트폰, 웨어러블, 로봇 등에서 사용할 수 있도록 설계되었습니다. 이 모델은 Raspberry Pi 5에서 500 tokens/sec의 디코드 속도를 자랑하며, 저전력 기기에서의 성능을 최적화했습니다. Needle2는 기존 소형 모델들과 비교하여 배터리 소모를 7배에서 85배까지 줄일 수 있는 특징이 있습니다. 저비용 기기에서는 더욱 효율적인 AI 솔루션으로 자리 잡을 것으로 예상됩니다.
Needle2, released by Cactus, is a 14MB LLM optimized for performance on low-power mobile devices.
Needle2, newly released by Cactus, is a 14MB agentic LLM designed for use in smartphones, wearables, and robots. This model boasts a decode speed of 500 tokens/sec on Raspberry Pi 5 and optimizes performance on low-power devices. Needle2 can reduce battery consumption by 7x to 85x compared to existing small models. It is anticipated to establish itself as an efficient AI solution for low-cost devices.