自适应无数据量化

无数据量化（DFQ）无需原始数据即可恢复量化网络（Q）的性能，但通过生成器（G）从全精度网络（P）学习来生成伪样本，然而 G 完全独立于 Q，忽视了生成样本知识的适应性，即对于 Q 的学习过程是否有益，从而导致泛化误差溢出。基于此，若干关键问题浮现——如何度量不同位宽场景下样本对 Q 的适应性？最大适应性是否最优？如何生成具有自适应适应性的样本以改善 Q 的泛化？为回答上述问题，本文提出一种自适应无数据量化（AdaDFQ）方法，从零和博弈视角重新审视 DFQ 中生成器与量化网络两个参与者之间的样本适应性。遵循该视角，我们进一步定义不一致样本与一致样本以形成两个边界，并优化边界间隔以自适应调节生成样本对 Q 的适应性，从而解决过拟合与欠拟合问题。我们的 AdaDFQ 揭示：1）对样本生成而言，最大适应性并非裨益 Q 泛化的最优解；2）生成样本的知识不应仅对 Q 具有信息性，还应关联 P 训练数据的类别与分布信息。理论与实证分析验证了 AdaDFQ 优于现有最优方法的优势。代码见 https://github.com/hfutqian/AdaDFQ。