将无数据量化重新思考为零和博弈
计算机视觉与模式识别
2023-02-21 v1
摘要
无数据量化（DFQ）在不访问真实数据的情况下恢复量化网络（Q）的性能，而是通过从全精度网络（P）学习，利用生成器（G）生成伪样本。然而，这种样本生成过程完全独立于Q，其特化之处在于未能考虑生成样本对Q学习过程的适应性，即是有益的还是对抗性的，从而导致不可忽视的性能损失。基于此，几个关键问题——如何衡量和利用不同位宽场景下样本对Q的适应性？如何生成具有理想适应性的样本以使量化网络受益？——促使我们重新审视DFQ。在本文中，我们从博弈论的视角回答上述问题，将DFQ特化为两个参与者——生成器和量化网络——之间的零和博弈，并进一步提出了一种适应性感知样本生成（AdaSG）方法。技术上，AdaSG将DFQ重新表述为一个以样本适应性为锚点的动态最大化-最小化博弈过程。最大化过程旨在生成具有理想适应性的样本，这种样本适应性在校准Q以恢复性能后，通过最小化过程进一步降低。定义了平衡间隙来指导博弈过程的平稳性，以最大限度地使Q受益。理论分析和实证研究验证了AdaSG相对于现有最先进方法的优越性。我们的代码可在https://github.com/hfutqian/AdaSG获取。
引用
@article{arxiv.2302.09572,
title = {Rethinking Data-Free Quantization as a Zero-Sum Game},
author = {Biao Qian and Yang Wang and Richang Hong and Meng Wang},
journal= {arXiv preprint arXiv:2302.09572},
year = {2023}
}
备注
9 pages, 7 figures, accepted by AAAI 2023