하네스에서의 코딩 에이전트 간 성공률과 비용 비교 결과를 다루고 있다.
하네스는 Claude Code, Codex CLI, Pi 등의 7개 모델을 비교하여, 같은 모델이라도 작업 성공률과 토큰 비용에 차이가 있음을 보여준다. 특히, 단순한 하네스 Pi는 비용 대비 성공률에서 높은 경쟁력을 보인 것으로 나타났다. 이러한 결과는 코딩 에이전트의 선택 시 비용과 효율성을 고려하는 데 중요한 정보를 제공한다.
The article compares success rates and costs among coding agents in Harness.
The article discusses a comparison among seven models, including Claude Code, Codex CLI, and Pi, showing that while similar models yield comparable success rates, their token costs can differ by up to five times. Notably, the simple Harness Pi demonstrated competitive success rates relative to its costs. These findings offer crucial insights into evaluating coding agents based on efficiency and expenses.