一种用于生成高效且鲁棒模型的集成方法
计算机视觉与模式识别
2023-02-14 v4 数值分析
数值分析
摘要
深度神经网络（DNNs）在实际使用中需要既高效又鲁棒。量化和结构简化是使 DNNs 适配移动设备的有前景的方法，而对抗训练是使 DNNs 鲁棒最流行的方法。在本工作中，我们试图通过将一种收敛松弛量化算法 Binary-Relax（BR）应用于鲁棒对抗训练模型 ResNets Ensemble via Feynman-Kac Formalism（EnResNet），来获得这两种特性。我们还发现，高精度（如三值（tnn）和 4-bit）量化会产生稀疏的 DNNs。然而，在对抗训练下这种稀疏性是无结构的。为解决对抗训练损害 DNNs 在干净图像上的精度以及稀疏结构的问题，我们设计了一个权衡损失函数，帮助 DNNs 保持其自然精度并改善通道稀疏性。借助我们的权衡损失函数，我们在弱攻击下抵抗力不降低、强攻击下抵抗力仅极小降低的情况下实现了这两个目标。结合带权衡损失函数的量化 EnResNet，我们提供了具有高效率的鲁棒模型。
引用
@article{arxiv.2008.13305,
title = {An Integrated Approach to Produce Robust Models with High Efficiency},
author = {Zhijian Li and Bao Wang and Jack Xin},
journal= {arXiv preprint arXiv:2008.13305},
year = {2023}
}