LoRA 어댑터에서 EMA를 사용한 사례를 찾고 있습니다.
사용자가 LoRA 어댑터에서 EMA를 성공적으로 적용한 연구 논문을 찾고 있습니다. 특히 EMA 어댑터가 스스로 라벨을 생성하여 학습 가능한 어댑터를 가르치는 역할을 하는 사례에 관심이 있습니다. 현재 온 정책 자기 증류 기법은 EMA를 교육자 역할로 사용하지만, 완전 미세 조정을 수행하는 방식입니다. LoRA 및 관련 모델에서 이 아이디어가 실제로 작동하는 실제 결과가 있는지 궁금해 합니다.
Looking for papers on successful use of EMA on LoRA adapters.
The user is seeking research papers where EMA has been successfully applied to LoRA adapters. They are particularly interested in cases where the EMA adapter acts as a self-teacher generating soft labels for the trainable adapter. The on-policy self-distillation technique utilizes EMA for the teacher but seems to perform full fine-tuning. They are curious if there are empirical results showing that this idea works on LoRA and related models.