Graph spectral analysis (Fiedler value + Scheffer CSD indicators) predicts grokking 21k steps before loss function - five reproducible experiments [R]

Fiedler 값과 Scheffer 지표를 통해 신경망 학습 중 grokking을 예측한 연구.

이 연구는 Fiedler 값과 Scheffer의 비판적 둔화 지표를 결합하여 신경망의 구조를 모니터링하고 grokking을 예측합니다. 5개의 실험에서 21,000 스텝 이전에 학습 정확도를 감지하며, grokking과 재난적 망각의 구조적 차이를 분석했습니다. 또한, 구조적으로 유도된 개입이 지식을 얼마나 잘 보존하는지 평가했습니다. 이 연구는 복잡계 과학의 접근 방식을 신경망 학습에 적용한 것입니다.

Research predicts grokking in neural networks using Fiedler value and Scheffer indicators.

This study combines the Fiedler value and Scheffer's critical slowing down indicators to monitor neural network topology and predict grokking. Five experiments demonstrate that grokking can be detected 21,000 steps before test accuracy improves and distinguish the structural fingerprints of grokking and catastrophic forgetting. The research evaluates how structurally-guided interventions can preserve knowledge. This approach applies complex systems science principles to neural networks.