高效训练平坦神经网络：面向未量化的视觉变换器
计算机视觉与模式识别
2025-11-04 v1 人工智能
摘要
后训练量化 (PTQ) 因其在压缩模型方面的高效性而受到广泛关注，但现有方法通常忽视了已训练神经网络与量化模型之间的关系，导致 PTQ 采用 considerable 的量化误差。然而，如何高效训练一种针对预定义精度低位模型的模型无关神经网络尚不明了。本文首先发现，平坦的全精度神经网络对低位量化至关重要。为实现这一目标，我们提出一种框架，通过测量和解耦误差来源来主动条件化模型。具体而言，激活量化误差 (AQE) 和权重量化误差 (WQE) 被建模为独立的高斯噪声。我们研究了Several 种噪声注入优化方法以获得平坦最小值。实验结果证明了该方法的有效性，这些结果为获得低位 PTQ 模型开辟了新路径。
引用
@article{arxiv.2511.01462,
title = {Efficiently Training A Flat Neural Network Before It has been Quantizated},
author = {Peng Xia and Junbiao Pang and Tianyang Cai},
journal= {arXiv preprint arXiv:2511.01462},
year = {2025}
}
备注
ongoing work, more results would be added