Sub-JEPA: a simple fix to LeCun group's LeWorldModel that consistently improves performance [P]

Sub-JEPA는 LeCun 그룹의 LeWorldModel 성능을 향상시키는 간단한 수정 방법입니다.

Sub-JEPA는 LeCun 그룹의 LeWorldModel의 한계를 극복하는 새로운 접근 방식입니다. 기존의 LeWorldModel이 고차원 Gaussian 제약으로 인해 저차원 작업에서 어려움을 겪는 반면, Sub-JEPA는 여러 개의 고정된 랜덤 직교 하위공간 내에서 Gaussian 정규화를 적용하여 성능을 향상시킵니다. 이 새로운 방법은 모든 네 개의 벤치마크에서 LeWorldModel을 지속적으로 초과 달성하며, 두 방들의 작업에서 최대 10.7 포인트 향상을 보여줍니다.

Sub-JEPA is a simple fix improving the performance of LeCun's LeWorldModel.

Sub-JEPA offers a new approach to overcome the limitations of LeCun's LeWorldModel. While the original model struggles with low-dimensional tasks due to a high-dimensional Gaussian prior, Sub-JEPA applies Gaussian regularization within multiple frozen random orthogonal subspaces, enhancing performance. This new method consistently outperforms LeWorldModel across all four benchmarks, with up to a 10.7-point improvement on the Two-Room task.