llama.cpp - 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진

llama.cpp는 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진이다.

llama.cpp는 최소한의 설정으로 로컬 또는 서버 환경에서 LLM과 VLM을 실행할 수 있는 오픈소스 C/C++ 추론 엔진이다. 이 엔진은 별도의 런타임 의존성 없이 폭넓은 하드웨어를 지원하며, 애플 실리콘의 Metal/Accelerate, NVIDIA CUDA, AMD HIP, Intel SYCL, Vulkan, OpenVINO 등 다양한 백엔드를 활용한다.

llama.cpp is an open-source C/C++ inference engine for running local LLM/VLM across various hardware.

llama.cpp is an open-source C/C++ inference engine designed to run LLM and VLM locally or on servers with minimal setup. It supports a wide range of hardware without separate runtime dependencies. The engine can leverage various backends, including Apple's Metal/Accelerate, NVIDIA CUDA, AMD HIP, Intel SYCL, Vulkan, and OpenVINO.