OTHER·중요도 6·2026. 07. 10.·GeekNews
코딩 평가에서 신호와 잡음 분리하기
── KO ──────────────────
AI 모델 코딩 평가의 신뢰성 문제를 다루는 기사입니다.
AI 모델의 코딩 능력 평가는 배포와 안정성에 매우 중요하지만, OpenAI의 감사 결과 SWE-Bench Pro에서 약 30%가 깨진 상태로 추정됩니다. 이 모델은 현실적인 과제를 목표로 하였으나, 731개의 공개 작업에서 8개월 동안 통과율이 23.3%로 저조한 성과를 보였습니다. 이러한 결과는 AI 모델 평가의 신뢰성과 효과에 대한 우려를 불러일으킵니다.
── EN ──────────────────
The article discusses reliability issues in AI coding assessments.
AI model coding assessments are crucial for deployment and safety, yet an audit by OpenAI indicates that about 30% of the SWE-Bench Pro tasks are estimated to be broken. This model aimed for realistic tasks but showed a passing rate of only 23.3% over 8 months across 731 public tasks. These results raise concerns about the reliability and effectiveness of AI model evaluations.