AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database

구글이 AlloyDB AI 기능을 출시하여 LLM 호출을 데이터베이스 내부의 로컬 추론으로 대체했습니다.

구글은 AlloyDB AI 기능을 일반 사용 가능 상태로 출시했습니다. 이번 기능은 LLM 출력을 기반으로 경량 로컬 모델을 훈련시켜 외부 호출 없이 데이터베이스 속도로 쿼리를 실행하는 프록시 모델 아키텍처를 도입합니다. 스마트 배칭을 통해 2,400배의 처리량 개선을 달성했으며, 프록시 모델은 내부 테스트에서 초당 100,000행을 처리할 수 있습니다.

Google has released AlloyDB AI functions, replacing LLM calls with local inference within the database.

Google has launched AlloyDB AI functions to general availability, introducing a proxy model architecture. This architecture trains a lightweight local model from LLM outputs, allowing queries to be executed at database speed without external calls. Smart batching achieves a 2,400x throughput improvement, with the proxy model capable of processing up to 100,000 rows per second in internal testing.