Chain-of-Thought Faithfulness: Toggling 'Reasoning Mode' Made One Model 5x More Likely to Follow Its Own Mistakes
Reasoning 모드를 사용해 모델의 정확도가 5배 향상되었다는 연구 결과.
Research shows activating Reasoning Mode increased model fidelity by 5x.
AI가 선별한 아티클
Reasoning 모드를 사용해 모델의 정확도가 5배 향상되었다는 연구 결과.
Research shows activating Reasoning Mode increased model fidelity by 5x.
기존 벤치마크가 놓치는 다양한 워크로드 성능을 측정하는 방법을 설명.
A method to measure performance of various workloads often missed by existing benchmarks.
Zed, Anthropic, OpenRouter의 뉴스는 더 나은 모델보다 더 나은 하네스의 중요성을 강조합니다.
News from Zed, Anthropic, and OpenRouter emphasizes the importance of better harnesses over better models.
코딩 에이전트 하네스 설계에 대한 실증 연구 결과를 다룸.
This study examines the design of coding agent harnesses and their effectiveness.
AI 코딩 에이전트가 60%의 실패율에도 불구하고 새로운 벤치마크를 기록했다.
AI coding agent fails 60% of the time but won a new coding benchmark.
Wasmi 2.0이 빠른 실행 성능과 시작 속도로 출시됨.
Wasmi 2.0 is released with improved performance and startup speed.
Real-SWE는 비공식 코드베이스에서 AI 모델의 성능을 평가하는 벤치마크입니다.
Real-SWE benchmarks AI model performance using unofficial production codebases.
Rustls의 10년 발전과 차세대 로드맵에 대한 분석.
Analysis of Rustls' 10-year evolution and future roadmap.
Fable 5.1의 성능을 실제 예산을 기준으로 평가한 분석 기사입니다.
An analysis article evaluating Fable 5.1's performance based on real-world budgets.
Claude가 새로운 기준에서 '에이전트를 구축하는 에이전트' 벤치마크에서 최고의 성과를 보였으나 테스트에서 25%도 통과하지 못했다.
Claude excelled in a new benchmark for 'agents that build agents', yet passed fewer than a quarter of tests.
GPT-6 Astra가 2026학년도 수능에서 만점을 기록했습니다.
GPT-6 Astra scored full marks in the 2026 Korean university entrance exam.
GPT-6 Astra가 가장 어려운 AI 벤치마크에서 뛰어난 성과를 보였습니다.
GPT-6 Astra excelled in the hardest AI benchmark, with emphasis on interpreting results.
Multiverse의 438B 모델이 AI 에이전트에 적합하다는 주장을 검증하는 복잡한 벤치마크 결과.
Multiverse claims its 438B model is suitable for AI agents, but benchmarks reveal a more complex story.
구글이 질문을 보지 않고 Gemini를 테스트하는 방법을 발견했습니다.
Google discovered a way to test Gemini without viewing the questions.
AWS가 AI 에이전트를 평가하기 위한 오픈소스 벤치마크 aws-bench를 릴리즈했다.
AWS has released aws-bench, an open-source benchmark for evaluating AI agents on real AWS tasks.
Qwen3.8-27B 모델이 8월 15일에 발표될 예정입니다.
The Qwen3.8-27B model is set to be released on August 15th.
Grok 4.6에 대한 분석과 벤치마크 정보를 제공합니다.
An analysis and benchmarks for Grok 4.6.
AI 응답 평가에 대한 FAQ 문서 소개.
Introduction to an FAQ document on evaluating AI responses.
Ponytail 에이전트가 기준치를 수정하며 54% 코드 감소를 발표했습니다.
Ponytail agent corrected its benchmark, now claiming 54% code reduction.
개인 AI 벤치마크에서 '하브스부르크 턱의 개구리 SVG 생성' 요청을 다루다.
Discussing personal AI benchmark: 'Generate an SVG of a frog with a Habsburg jaw.'
JDK 24의 가상 스레드 변경사항과 Java 생산성에 대한 영향을 다룬 기사입니다.
The article discusses changes in JDK 24's virtual threads and their impact on Java production.
HANDBOOK.md는 에이전트 행동을 제어하기 위한 벤치마크를 제공합니다.
HANDBOOK.md provides benchmarks for controlling agent behavior.
Kimi K3는 고성능 AI 모델로, 기존 모델들과의 벤치마크 결과를 공유합니다.
Kimi K3 is a high-performance AI model, benchmarking results against existing models are shared.
Kimi K3에 대한 분석과 pelican 벤치마크에서 배울 점을 다룬 기사입니다.
Analysis of Kimi K3 and lessons from the pelican benchmark.
Stripe는 AI 에이전트의 통합 구축 능력을 평가하는 벤치마크를 도입했습니다.
Stripe introduces a benchmark to evaluate AI agents' ability to build integrations.
불필요한 조건문으로 코드 성능을 4배 향상시키는 방법을 설명합니다.
Explains how to improve code performance by 4 times with an unnecessary conditional statement.
애플의 SpeechAnalyzer API가 Whisper 및 이전 모델과 비교되었습니다.
Apple's new SpeechAnalyzer API is benchmarked against Whisper and its predecessor.
Jetson Nano에서 Ollama의 성능 벤치마크를 리뷰합니다.
A performance benchmark review of Ollama on Jetson Nano.
tts-bench는 로컬 TTS 모델 비교를 위한 오픈소스 벤치마크입니다.
tts-bench is an open-source benchmark for comparing local TTS models.
GLM 5.2 모델이 인간 회계사와 유사한 정확도를 보인다는 내용을 다룹니다.
GLM 5.2 shows accuracy nearly equivalent to a human bookkeeper.