넷플릭스가 실시간 서비스 맵을 위한 스트리밍 파이프라인을 재설계한 방법을 설명합니다.
넷플릭스는 Service Topology의 스트리밍 파이프라인을 재설계하여 생산 규모를 지원하는 방법을 소개했습니다. 이 시스템은 중간 해상도를 보충 및 지속성에서 분리하는 세 가지 단계를 사용하며, 레코드를 삭제하는 대신 Kafka에 역압력을 전파합니다. 또한, 높은 볼륨의 내부 전송을 위해 gRPC 대신 서버 전송 이벤트를 사용합니다.
Netflix explains how it redesigned its streaming pipeline for the Service Topology.
Netflix described how it redesigned the streaming pipeline behind Service Topology, its real-time service dependencies map, to support production scale. The system utilizes three stages to separate intermediary resolution from enrichment and persistence, propagating backpressure to Kafka instead of dropping records. Additionally, it employs server-sent events for high-volume internal transfers rather than gRPC.