稀疏性双赢：更优鲁棒泛化与更高效训练
计算机视觉与模式识别
2022-03-01 v3 机器学习
摘要
近期研究表明，深度网络即便通过最先进的对抗训练（AT）进行了鲁棒化，除了比标准训练昂贵得多的训练成本外，仍遭受较大的鲁棒泛化差距。在本文中，我们从一个新视角研究这一引人关注的问题，即在对抗训练中注入适当形式的稀疏性。我们引入两种稀疏对抗训练的替代方案：（i）静态稀疏性，利用彩票假说近期的结果来识别早期训练产生的关键稀疏子网络；（ii）动态稀疏性，允许稀疏子网络在训练过程中自适应调整其连接模式（同时保持相同稀疏率）。我们发现静态与动态稀疏方法均能实现双赢：大幅缩小鲁棒泛化差距并缓解鲁棒过拟合，同时显著节省训练与推理 FLOPs。大量实验在多样数据集（包括 CIFAR-10/100 和 Tiny-ImageNet）上以多种网络架构验证了我们的方案。例如，在 CIFAR-100 与 ResNet-18 上，我们的方法将鲁棒泛化差距和过拟合分别降低 34.44% 和 4.02%，在鲁棒/标准精度相当提升的同时节省 87.83%/87.82% 的训练/推理 FLOPs。此外，我们的方法可与现有正则化器有机结合，在 AT 中确立新的最先进结果。代码见 https://github.com/VITA-Group/Sparsity-Win-Robust-Generalization。
引用
@article{arxiv.2202.09844,
title = {Sparsity Winning Twice: Better Robust Generalization from More Efficient Training},
author = {Tianlong Chen and Zhenyu Zhang and Pengjun Wang and Santosh Balachandra and Haoyu Ma and Zehao Wang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2202.09844},
year = {2022}
}