ML 프로젝트를 위한 Reddit 데이터 수집 방법 비교.
Reddit에서 ML 프로젝트를 위한 데이터 수집에 어려움을 겪은 경험을 공유합니다. 공식 Reddit API는 요청 제한과 인증 문제로 실질적인 사용에 제약이 있으며, 역사적인 데이터에 접근할 수 없다는 단점이 있습니다. 대신, Sylvia라는 도구를 사용하여 이 문제를 해결하였고, 무료 요청을 통해 깊은 댓글 트리를 수집할 수 있었습니다. 이 접근법이 시간 절약에 큰 도움이 되었습니다.
Comparing data collection methods for an ML project using Reddit.
The article shares personal experiences collecting data from Reddit for an ML project, highlighting frustrations with the official Reddit API. The API's request limits and lack of historical data access made it nearly unusable for large-scale ML tasks. The author found success with a tool called Sylvia, which allows more requests and handles deep comment threads. This solution significantly reduced the effort required for dataset preparation.