Netflix의 사내 LLM 서빙 플랫폼

넷플릭스는 LLM을 기존 ML 인프라와 통합해 서빙 시스템을 구축했다.

넷플릭스는 LLM을 별도의 사일로로 운영하지 않고 기존 머신러닝 인프라와 통합하여 사용하고 있다. 이 과정에서 vLLM과 Triton을 활용한 통합 서빙 체계를 구축하였다. vLLM은 사용자 정의 모델과 디버깅 용이성, 확장 가능한 후크, 연구 환경과의 친숙성 등의 특징을 가진다.

Netflix integrates LLM into existing ML infrastructure for serving systems.

Netflix operates its LLM not in a separate silo but within its existing machine learning infrastructure. They have created a unified serving system by utilizing vLLM and Triton. vLLM supports custom models, ease of debugging, extensible hooks, and compatibility with research environments.