Jev를 공개 데이터와 실제 업무에 시험하다: 분류기인가, 필터인가?

Jev를 공개 데이터와 업무에 시험한 결과, 쉬운 판단을 먼저 처리하는 방식이 효과적임을 확인했다.

Jev를 약 1만 6,000회 호출하여 공개 데이터와 실제 문서 및 이메일 업무에 시험한 결과, 모든 판단을 Jev에 맡기기보다 쉬운 판단을 먼저 처리하고 애매한 것은 기존 모델에 넘기는 방식이 더 효과적임을 발견했다. 시험에 사용된 공개 데이터셋 4개 중 3개에서 Jev가 소형 GPT 모델보다 높은 정확도를 기록했다.

Testing Jev with public data shows handling easy judgments first is more effective.

By calling Jev approximately 16,000 times to test with public datasets and actual documents/emails, it was found more effective to first handle easy judgments and pass ambiguous ones to existing models. Jev recorded higher accuracy than smaller GPT models on 3 out of 4 public datasets used in the test.