GEMBA-MQM v2를 사용한 번역 품질 평가 방법 소개
GEMBA-MQM v2를 통해 실시간 음성 번역 품질을 평가하는 방법에 대해 설명합니다. MQM은 번역 품질을 다차원적으로 측정하는 산업 표준으로, 오류의 유형과 심각도를 분류합니다. GEMBA는 LLM을 사용해 이와 동일한 주석 프로세스를 자동화합니다. 하지만 LLM 결과의 변동성이 크기 때문에, 여러 번의 검사를 통해 결과의 변동을 줄이는 방법이 필요합니다.
Introduction to evaluating translation quality using GEMBA-MQM v2.
This article explains how to evaluate translation quality in a live speech-to-speech translation pipeline using GEMBA-MQM v2. MQM is an industry standard for assessing translation quality, categorizing errors by type and severity. GEMBA automates this process using LLMs, but the variability in LLM outputs can be high, necessitating multiple passes to achieve more consistent results. A methodology for reducing noise in LLM judgments is also discussed.