How do ML practitioners select hyperparameters, architectures, etc for self-supervised representation learning when the loss is non-monotonic? [D]

비모니토닉 손실에서 자기지도 표현 학습을 위한 하이퍼파라미터 선택 방법에 관한 논의.

이 글에서는 BYOL/JEPA/data2vec와 같은 비대조 SSL 방법의 하이퍼파라미터 및 아키텍처 선택에 대한 고민을 다룬다. 연구자들은 전통적인 평가 방법이 연구자의 자유도를 악용할 수 있음을 인지하고 있으며, RankMe와 같은 방법이 도움이 될 수 있다고 언급한다. 그러나 JEPA 방법이 비모니토닉 손실을 포함하므로 RankMe 기준이 효과적이지 않을 수 있다는 우려를 표명한다.

Discussion on selecting hyperparameters for self-supervised learning with non-monotonic loss.

This article discusses the challenges of selecting hyperparameters and architectures for non-contrastive self-supervised learning methods like BYOL/JEPA/data2vec. Practitioners are aware of the potential misuse of traditional evaluation methods, and tools like RankMe are mentioned as possible aids. However, the concerns arise that methods like JEPA, which require a non-monotonic loss, may render the RankMe criterion ineffective.