CAGE：面向准确量化感知训练的曲率感知梯度估计
机器学习
2025-11-11 v2
摘要
尽管在低比特量化感知训练方面已有大量工作，但这些技术与原生训练之间仍存在精度差距。为此，我们引入CAGE（Curvature-Aware Gradient Estimation），一种新的量化感知训练方法，通过加入曲率感知校正项来增强直线传播估计器（STE）梯度，该校正项旨在抵消量化导致的损失增加。CAGE从多目标视角出发，对量化感知训练进行建模，通过平衡损失最小化与量化约束，得到一种依赖局部曲率信息的原则化校正项。在理论方面，我们提出了量化优化的Pareto最优解概念，并证明CAGE在光滑非凸情形下具有强大的收敛保证。在实现方面，我们的方法与优化器无关，但提供了一种高效实现，利用Adam统计信息。CAGE在准确率、计算成本相当的情况下，显著优于先前的最佳方法：对于量化感知微调，其压缩精度损失仅为先前最佳方法的一半；而对于Llama模型的量化感知预训练，其3位权重与激活（W3A3）的精度与先前最佳方法在4位（W4A4）时的精度相当。官方实现已公开于 https://github.com/IST-DASLab/CAGE。
引用
@article{arxiv.2510.18784,
title = {CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training},
author = {Soroush Tabesh and Mher Safaryan and Andrei Panferov and Alexandra Volkova and Dan Alistarh},
journal= {arXiv preprint arXiv:2510.18784},
year = {2025}
}