通过正交多样性实现鲁棒神经网络
计算机视觉与模式识别
2024-01-17 v5 机器学习
摘要
深度神经网络(DNNs)易受热对抗攻击所生成图像上不可见扰动的危害,这引发了关于 DNN 对抗鲁棒性的研究。以对抗训练及其变体为代表的一系列方法已被证明是增强 DNN 鲁棒性最有效的技术之一。通常,对抗训练侧重于通过引入扰动数据来丰富训练数据。对抗训练中引入的扰动数据的这种数据增广效应无助于 DNN 自身的鲁棒性,且通常伴随干净准确率下降。针对 DNN 自身的鲁棒性,本文提出一种新颖的防御方法,旨在增广模型以学习适应多样输入(包括对抗样本)的特征。更具体地,为增广模型,在网络中嵌入多条路径,并对这些路径施加正交约束以保证其间的多样性。随后设计间隔最大化损失以进一步促进这种通过正交实现的多样性(DIO)。如此,所提 DIO 增广模型并增强 DNN 自身的鲁棒性,因为学到的特征可由这些相互正交的路径修正。在多种数据集、结构与攻击上的大量实证结果验证了所提 DIO 利用模型增广具有更强的对抗鲁棒性。此外,DIO 也可灵活结合不同的数据增广技术(如 TRADES 与 DDPM),进一步提升鲁棒性收益。
引用
@article{arxiv.2010.12190,
title = {Towards Robust Neural Networks via Orthogonal Diversity},
author = {Kun Fang and Qinghua Tao and Yingwen Wu and Tao Li and Jia Cai and Feipeng Cai and Xiaolin Huang and Jie Yang},
journal= {arXiv preprint arXiv:2010.12190},
year = {2024}
}
备注
accepted by Pattern Recognition