一种用于精度与鲁棒性可调权衡的快速高效条件学习
计算机视觉与模式识别
2022-04-04 v1
摘要
现有在干净图像与对抗扰动图像上均达到最先进（SOTA）性能的模型依赖于以特征线性调制（FiLM）层为条件的卷积操作。这些层需要许多新参数且对超参数敏感。它们显著增加了训练时间、内存成本与潜在延迟，这对资源受限或实时应用而言代价高昂。本文中，我们提出一种快速可学习一次到位对抗训练（FLOAT）算法，其不同于现有的基于 FiLM 的条件化，提出了一种无需额外层的独特权重条件学习，从而与标准对抗训练相比在参数量、训练时间或网络延迟上均无显著增加。特别地，我们向权重张量添加可配置缩放噪声，以实现干净与对抗性能间的权衡。大量实验表明 FLOAT 可取得 SOTA 性能，将干净与扰动图像分类分别提升多达约 6% 与约 10%。此外，真实硬件测量显示，在同等超参数设置下，与基于 FiLM 的替代方案相比，FLOAT 可将训练时间减少多达 1.43 倍且模型参数减少多达 1.47 倍。另外，为进一步提升内存效率，我们引入 FLOAT 稀疏（FLOATS），一种非迭代模型剪枝形式，并提供详细实证分析，为这类新型剪枝条件训练模型给出精度-鲁棒性-复杂度三方权衡。
引用
@article{arxiv.2204.00426,
title = {A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness},
author = {Souvik Kundu and Sairam Sundaresan and Massoud Pedram and Peter A. Beerel},
journal= {arXiv preprint arXiv:2204.00426},
year = {2022}
}
备注
14 pages, 10 figures, 1 table