Article: Stragglers, Not Failures: How Adaptive Hedged Requests Reduce p99 Latency by 74 Percent

지연된 요청을 줄이는 적응형 헤지 요청 메커니즘 소개.

이 기사는 팬 아웃 마이크로서비스 아키텍처에서 발생하는 느린 요청 문제를 다루고 있습니다. 적응형 헤지 요청 메커니즘을 통해 p99 지연 시간을 74%까지 줄일 수 있는 방법을 설명합니다. DDSketch를 이용한 실시간 분위수 추정, 배분 드리프트 관리를 위한 윈도우 회전, 로드 증폭 방지를 위한 토큰-버킷 예산을 사용합니다.

Introduction of an adaptive hedged requests mechanism to reduce latency.

This article addresses the issue of slow requests accumulating in fan-out microservice architectures and how they can increase p99 latency. It presents an adaptive hedging mechanism that can reduce p99 latency by 74%. The approach utilizes DDSketch for real-time quantile estimation, windowed rotation to handle distribution drift, and a token-bucket budget to prevent load amplification.