探究量化对对抗鲁棒性的影响

量化是一种极具前景的技术，用于降低深度模型的比特宽度以提升其运行时性能和存储效率，因此成为部署的基础步骤。在真实场景中，量化模型常面临对抗攻击，这些攻击通过引入轻微扰动导致模型做出错误推断。然而，近期研究较少关注量化对模型鲁棒性的影响。更令人惊讶的是，关于该主题的现有研究甚至呈现出不一致的结论，这促使我们进行深入调查。在本文中，我们首次分析了在训练后量化和量化感知训练设置下，能够结合鲁棒优化的量化流水线组件的影响。通过详细分析，我们发现这种不一致源于不同研究中使用了不同的流水线，特别是关于是否执行了鲁棒优化以及它在哪个量化阶段发生。我们的研究结果为部署更安全、更鲁棒的量化网络提供了见解，帮助从业者在具有高安全性要求和资源受限的场景中进行参考。