面向深度神经网络的锐度感知量化
计算机视觉与模式识别
2023-03-22 v5 机器学习
摘要
网络量化是模型压缩的一种主导范式。然而，训练过程中量化权重的突变常导致严重的损失波动，并形成尖锐的损失景观，使得梯度不稳定，从而降低性能。最近，锐度感知最小化（SAM）被提出用于平滑损失景观并提高模型的泛化性能。然而，直接将SAM应用于量化模型可能导致扰动失配或减弱问题，导致性能次优。在本文中，我们提出了一种名为锐度感知量化（SAQ）的新方法，首次探索了SAM在模型压缩，特别是量化中的效果。具体来说，我们首先通过将量化和SAM分别视为向模型权重引入量化噪声和对抗性扰动，提供了一个统一的视角。根据噪声和扰动项是否相互依赖，SAQ可被表述为三种情况，并对其进行了全面的分析和比较。此外，通过引入一种高效的训练策略，与默认优化器（如SGD或AdamW）相比，SAQ仅增加很少的额外训练开销。在卷积神经网络和Transformer上，跨多个数据集（即ImageNet、CIFAR-10/100、Oxford Flowers-102、Oxford-IIIT Pets）的大量实验表明，SAQ提高了量化模型的泛化性能，在均匀量化中取得了SOTA结果。例如，在ImageNet上，对于4-bit ViT-B/16，SAQ的Top-1准确率比AdamW高出1.2%。我们的4-bit ResNet-50在Top-1准确率上比之前的SOTA方法高出0.9%。
引用
@article{arxiv.2111.12273,
title = {Sharpness-aware Quantization for Deep Neural Networks},
author = {Jing Liu and Jianfei Cai and Bohan Zhuang},
journal= {arXiv preprint arXiv:2111.12273},
year = {2023}
}
备注
Tech report