LLM 출력을 감사 가능한 형태로 추상화하는 방법을 소개합니다.
NumPath의 사례를 통해 LLM을 직접 호출하는 문제점을 설명하고, 이를 해결하기 위한 프로토콜 인터페이스 추상화 방법을 제안합니다. 해당 방법은 테스트, 오프라인 실행, 제공자 교체 및 감사 기능을 향상시킵니다. 추상화는 Python의 Protocol을 사용해 구현되며, 데이터베이스에서 직접 읽어들인 증거를 기반으로 통찰력을 생성합니다.
This article introduces how to abstract LLM outputs to be auditable.
The article discusses the issues with directly calling LLMs and proposes a protocol interface abstraction to solve these challenges. This approach enhances testing, offline execution, provider swapping, and auditing capabilities. The abstraction is implemented using Python's Protocol and structures insights based on evidence read from the database.