超越离群值：量化条件下的优化器研究
机器学习
2025-10-03 v2
摘要
随着新优化器逐渐获得关注以及模型量化成为高效部署的标准做法，一个关键问题浮现：量化条件下优化器的选择如何影响模型性能？尽管这两个领域均取得了进展，但关于优化器-量化交互的系统性证据仍然有限。为填补这一空白，我们研究了优化器选择对量化下模型鲁棒性的影响，同时考虑了训练后量化（PTQ）和量化感知训练（QAT）。我们首先使用六种优化器训练了从50M到15亿参数的全精度模型，以探索超参数空间并建立经过良好调优的基线。随后我们应用PTQ来评估不同优化器训练下模型性能的退化情况。我们发现，离群值相关指标（如最大均值比MMR和峰度）无法预测不同优化器下的PTQ性能。我们从分析上证明，这是因为MMR仅捕捉了孤立的层误差，而忽略了量化误差如何在网络中累积和传播。为了研究QAT退化，我们从零开始训练量化模型，并将其与原始精度基线进行比较。我们发现，在原始预训练设置中表现良好的优化器在QAT下未必保持最优，而使用Shampoo训练的模型表现出最低的准确率退化。最后，我们推导了不同优化器下量化感知训练的缩放定律，表明Shampoo在所有受测优化器中达到了最高的参数效率。
引用
@article{arxiv.2509.23500,
title = {Beyond Outliers: A Study of Optimizers Under Quantization},
author = {Georgios Vlassis and Saleh Ashkboos and Alexandra Volkova and Torsten Hoefler and Dan Alistarh},
journal= {arXiv preprint arXiv:2509.23500},
year = {2025}
}
备注
20 pages