AI 비용 폭탄 경험을 공유하며 LLM 최적화 방법을 모색한 이야기입니다.
이 글은 AI 비용 청구에 놀란 저자의 경험을 바탕으로 시작됩니다. 'My Office AI Town'을 가동하던 중, 직원들의 대화 기록으로 인해 예상보다 훨씬 큰 비용이 청구된 것을 알게 됩니다. 시스템 관리자 역할을 주장하는 사용자의 지시로 인해 AI가 잘못된 출력을 할 뻔한 상황도 겪게 되는데, 이는 AI 시스템의 올바른 설정과 비용 관리의 중요성을 강조합니다.
The author shares their experience with unexpected AI billing and explores LLM optimization methods.
This article begins with the author's shocking experience of high AI billing after launching 'My Office AI Town.' They discovered that conversations among agents led to unexpected costs. The situation worsened when a user claimed to be the system administrator, almost causing the AI to follow incorrect commands. This highlights the importance of proper AI system configuration and cost management.