RL 보상 함수에서 보상 해킹을 감지하는 디버거를 소개합니다.
이 글에서는 GRPO 훈련을 실험하면서 보상 함수의 해킹 가능성을 감지하기 위해 개발한 'rewardspy' 라이브러리를 소개합니다. 이 라이브러리는 보상 통계, 변동성, 구성 불균형 등을 모니터링하여 정책 개선과 보상 함수 착취 여부를 판단하는 데 도움을 줍니다. 사용자는 프로젝트에 대한 기술 조언을 요청하고 있으며, 코드 저장소 링크도 포함되어 있습니다.
Introducing a debugger for RL reward functions that detects reward hacking.
This article introduces 'rewardspy', a library developed during GRPO training experiments to detect potential reward function exploitation. The library monitors various metrics such as reward statistics, variance, and component imbalance to help discern whether a policy is genuinely improving or just exploiting the reward function. The author is seeking technical advice on their first major RL project and provides a link to the project repository.