Switchyard는 비싼 LLM 대신 저렴한 모델을 선택하는 라우터이다.
NVIDIA NeMo에서 공개한 Switchyard는 모든 요청을 비싼 모델에 맡기는 대신 더 저렴한 모델을 선택하고 처리하는 LLM 라우터입니다. OpenAI의 Chat Completions 및 Anthropic의 Messages 형식을 지원하여 기존 클라이언트의 연결 주소를 프록시로 변경할 수 있습니다. 이로 인해 더 효율적인 작업 처리가 가능해집니다.
Switchyard is an LLM router that selects cheaper models instead of expensive ones.
Switchyard, released by NVIDIA NeMo, is an LLM router aimed at selecting cheaper models to handle requests instead of relying solely on expensive ones. It supports OpenAI's Chat Completions and Anthropic's Messages formats, allowing existing clients to change their connection address to a proxy. This enables more efficient task processing.