一步向前与回溯：克服损失感知量化训练中的锯齿形震荡问题

权重量化是一种有效的技术，用于压缩深度神经网络，以便将其部署在资源有限的边缘设备上。传统的损失感知量化方法通常使用量化梯度来替代全精度梯度。然而，我们发现梯度误差会导致梯度下降学习过程中出现意想不到的锯齿形震荡问题，即梯度方向快速振荡或呈锯齿形，而这个问题严重减缓了模型收敛。因此，本文为损失感知量化提出了一种一步向前与回溯的方法，以获得更准确和稳定的梯度方向来克服这个问题。在梯度下降学习过程中，设计了一个一步向前搜索来找到下一步的试探梯度，该梯度被用来将当前步的梯度调整到快速收敛的方向。之后，我们回溯当前步，通过当前步梯度和试探梯度来更新全精度和量化权重。在基准深度模型上的一系列理论分析和实验证明了所提出方法的有效性和竞争力，并且我们的方法在收敛性能上尤其优于其他方法。