LiteLLM의 비대함을 덜어낸 경량 라이브러리인 litelm을 소개합니다.
litelm은 LiteLLM의 모델 라우팅과 메시지 변환을 간소화한 라이브러리로, 약 2,900줄로 구성되어 있으며 기본 의존성으로 openai와 httpx를 사용합니다. 이 라이브러리는 19개 제공자를 provider/model 형식으로 호출해 효율적으로 스트리밍 기능을 지원합니다. 경량화된 구조로 더욱 효율적인 LLM 호출을 가능하게 하는 점에서 주목할 만합니다.
Introducing litelm, a lightweight library that reduces the bulk of LiteLLM.
litelm is a library that streamlines the model routing and message conversion of LiteLLM, implemented with around 2,900 lines and relying on openai and httpx. It supports efficient streaming by calling 19 providers in a provider/model format. Its lightweight design makes it notable for enabling more efficient LLM calls.