당근마켓의 실험플랫폼이 개발과 운영을 더 쉽게 만들어주는 변화에 대해 소개합니다.
당근마켓의 데이터 가치화팀은 사용자 의사결정을 돕기 위해 실험플랫폼을 운영하고 있습니다. 이 플랫폼은 A/B 테스트를 지원하며, 최근 진행된 실험의 횟수가 14배 증가했습니다. 실험 운영 시 발생하는 두 가지 문제인 시간 지체와 실험 간섭을 해결하기 위해, UI 기반의 지표 등록 시스템과 상호배제 그룹, LLM을 활용한 반복 작업 자동화를 도입했습니다.
Daangn Market's experiment platform introduces changes for easier design and operation of experiments.
Daangn Market's data valorization team operates an experiment platform to aid user decision-making. The number of experiments has surged 14 times recently, leading to two major challenges: time delays and interferences between concurrent experiments. To address these, they implemented UI-based metric registration, mutually exclusive groups for experiments, and automated repetitive tasks with LLM support.