神经网络的非奇异对抗鲁棒性
机器学习
2021-03-02 v1
摘要
由于神经网络对微小输入扰动的过度敏感，对抗鲁棒性已成为其面临的一个新兴挑战。尽管至关重要，我们认为仅解决这一奇异问题不足以提供全面的鲁棒性评估。更糟糕的是，从奇异鲁棒性得出的结论可能会给出整体模型鲁棒性的错误印象。具体而言，我们的研究结果表明，与标准模型相比，对输入扰动鲁棒的对抗训练模型在权重扰动下仍然（甚至更加）脆弱。在本文中，我们通过同时扰动数据输入和模型权重的视角，形式化了神经网络非奇异对抗鲁棒性的概念。据我们所知，这项工作是首个考虑同步输入-权重对抗扰动的研究。基于具有ReLU激活函数和标准形式分类损失的多层前馈神经网络模型，我们建立了误差分析，用于量化在数据和模型权重的范数有界扰动下的损失敏感性。基于该误差分析，我们提出了用于鲁棒训练的新正则化函数，并展示了对联合输入-权重对抗扰动改进的的非奇异鲁棒性。
引用
@article{arxiv.2102.11935,
title = {Non-Singular Adversarial Robustness of Neural Networks},
author = {Yu-Lin Tsai and Chia-Yi Hsu and Chia-Mu Yu and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2102.11935},
year = {2021}
}