llama.cpp - 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진
llama.cpp는 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진이다.
llama.cpp is an open-source C/C++ inference engine for running local LLM/VLM across various hardware.
AI가 선별한 아티클
llama.cpp는 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진이다.
llama.cpp is an open-source C/C++ inference engine for running local LLM/VLM across various hardware.
Transcribe.cpp는 크로스 플랫폼 음성 인식 라이브러리입니다.
Transcribe.cpp is a cross-platform local speech recognition library.
AI 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우하는 방법에 대해 설명합니다.
The article explains how token processing costs and delays impact infrastructure economics in AI inference.
tts-bench는 로컬 TTS 모델 비교를 위한 오픈소스 벤치마크입니다.
tts-bench is an open-source benchmark for comparing local TTS models.
CUDA 실행 과정의 세부 사항을 설명합니다.
Explains the details of the CUDA execution process.
GPU 인프라 및 LLM, CV 작업을 문서화하는 시리즈를 시작합니다.
Launching a series documenting work on GPU infrastructure, LLMs, and CV.
AI 제품을 위한 최적의 LLM 배포 방법에 대한 질문.
A question about the optimal LLM deployment method for AI products.
ML과 LLM을 배우는 워크숍을 유튜브에 게시했습니다.
Posted a workshop on YouTube about building LLMs without math prerequisites.
Omni-VRAM은 28개 모듈로 구성된 오픈소스 음성 AI 플랫폼입니다.
Omni-VRAM is an open-source voice AI platform with 28 modules.
Rust와 cuTile을 활용한 안전한 GPU 추론 엔진 개발에 대한 논문 소개
Introduction of a paper on safe GPU inference engine development using Rust and cuTile.
Ollama의 지역 AI 도구 사용 중단 권고에 대한 논의가 Reddit에서 활발히 이루어졌다.
A call to stop using Ollama sparked a discussion with 1,175 upvotes on Reddit.
로컬 LLM 환경을 구축했으나 OpenAI의 배치 처리에 다시 의존하게 된 사례.
Built a local LLM rig but ended up relying on OpenAI Batch for efficiency.
Nvidia, Windows PC용 고성능 CPU 시스템을 제안했습니다.
Nvidia proposes a high-performance CPU system for Windows PCs.
Triton에서 CUDA 없이 NVIDIA와 AMD에서 사용 가능한 Mixture-of-Experts 커널을 소개합니다.
Introducing a Mixture-of-Experts kernel in Triton for cross-platform use without CUDA.
AI로 생성된 CUDA 커널이 훈련과 추론을 방해하는 문제를 다룬다.
AI-generated CUDA kernels are causing issues in training and inference processes.
PyTorch 학습 프로파일링 시 GPU 정지를 피하는 방법에 대한 기술적 노트입니다.
A technical note on profiling PyTorch training without stalling the GPU.
Go에서 cgo 없이 CUDA 바인딩을 구현하는 초기 단계 프로젝트에 대한 이야기입니다.
A beginner's project on implementing CUDA bindings in Go without cgo.
로봇을 위한 모방 학습의 느린 파이프라인 최적화 문제.
Optimization issues in a slow pipeline for imitation learning in robotics.
CUDA를 활용한 모델 추론 최적화에 관한 기사의 내용입니다.
The article discusses optimizing model inference using CUDA.
2026년 최적의 Linux/ML 디버깅을 위한 LLM 선택에 대한 논의입니다.
Discussion on choosing the best LLM for cutting-edge Linux/ML debugging in 2026.
로컬 하드웨어로 클라우드 품질 모델에 접근 가능성에 대한 실제 사례.
A practical example of achieving cloud-quality models using local hardware.
Triton 1.0 출시, CUDA 경험 없이도 효율적인 GPU 코드 작성 가능.
Triton 1.0 released, enabling efficient GPU coding without CUDA experience.