An open handbook on LLM inference at scale (GPU internals, KV cache, batching, vLLM/SGLang/TensorRT-LLM) [P]

LLM 추론의 GPU 내부 구조에 대한 오픈 핸드북 작성 중.

LLM 추론에 대한 오픈 핸드북을 작성하고 있는 이 프로젝트는 GPU 실행 및 메모리 내부 구조에 대해 다룹니다. 주로 추론 동안 GPU가 비활성 상태인지, 메모리 계층이 처리량에 어떤 영향을 미치는지, 실제 병목 현상이 어디인지 등을 설명하고 있습니다. 각 장마다 새로운 내용을 추가하며 점점 발전해 나가고 있으며, 피드백이나 수정 제안을 환영합니다.

An open handbook on LLM inference focusing on GPU internals is being developed.

This open handbook is being written on the internals of LLM inference, focusing on GPU execution and memory hierarchies. It explains why GPUs often sit idle during inference, how memory impacts throughput, and identifies real bottlenecks. The project is evolving with new chapters added regularly, and feedback or corrections are welcomed to refine the model further.