MetaGrad：基于超网络的 adaptive 梯度量化
计算机视觉与模式识别
2023-11-02 v2
摘要
网络压缩的一类热门路径是量化感知训练（QAT），其加速神经网络训练与推理中的前向过程。然而，此前甚少有工作对训练中的反向过程进行量化与加速，尽管其约占训练时间的一半。这部分归因于反向过程中低精度梯度的误差无法像 QAT 设定中那样被训练目标所分摊。本工作中，我们提出通过超网络将梯度纳入下一训练迭代的计算图来解决该问题。在 CIFAR-10 数据集上针对不同 CNN 网络架构的多种实验表明，我们基于超网络的方法能有效降低梯度量化噪声的负面影响，并成功将梯度量化为 INT4，在 CIFAR-10 上 VGG-16 的准确率仅下降 0.64。
引用
@article{arxiv.2303.02347,
title = {MetaGrad: Adaptive Gradient Quantization with Hypernetworks},
author = {Kaixin Xu and Alina Hui Xiu Lee and Ziyuan Zhao and Zhe Wang and Min Wu and Weisi Lin},
journal= {arXiv preprint arXiv:2303.02347},
year = {2023}
}