Evaluating chain-of-thought monitorability

OpenAI가 체인 오브 사고 모니터링을 위한 평가 프레임워크를 소개합니다.

OpenAI는 체인 오브 사고 모니터링을 위한 새로운 프레임워크와 평가 도구 세트를 도입했습니다. 24개 환경에서 13가지 평가를 다루며, 모델의 내면적 추론을 모니터링하는 것이 출력만 모니터링하는 것보다 훨씬 효과적임을 보여줍니다. 이는 AI 시스템이 더 강력해짐에 따라 확장 가능한 제어를 할 수 있는 유망한 경로를 제공합니다.

OpenAI introduces a new framework for evaluating chain-of-thought monitorability.

OpenAI has introduced a new framework and evaluation suite for chain-of-thought monitorability, covering 13 evaluations across 24 environments. The findings suggest that monitoring a model’s internal reasoning is far more effective than simply monitoring outputs. This offers a promising approach toward scalable control as AI systems become more capable.