Does it make sense to use alternative quantizations of QAT models? [D]

QAT 모델의 대체 양자화 방법 사용의 타당성에 대한 논의.

이 글에서는 양자화 인식 훈련(QAT)을 통해 생성된 모델이 특정 양자화 방법에 최적화되어 있는지, 또는 대체 양자화 방법을 사용하는 것이 유의미한지를 질문합니다. unsloth가 발표한 벤치마크에 따르면, 대체 양자화 방법이 QAT의 미세 조정과 더 가까운 결과를 나타내지만, 이는 QAT의 목적에 부합하는 것인지에 대한 논의가 필요합니다.

Discussion on the validity of using alternative quantization methods for QAT models.

The article questions whether Quantization Aware Training (QAT) is designed for a specific quantization method or if it makes sense to utilize alternative quantization techniques. Benchmarks released by unsloth show that alternative quantizations are closer to QAT fine-tunes, raising the question of whether this is beneficial or undermines the purpose of QAT.