认证鲁棒神经网络：泛化与抗 corrupted 能力
机器学习
2023-05-19 v2 人工智能
机器学习
摘要
近期工作表明，鲁棒性（对“corruption”的抵抗）可能与泛化相互矛盾。例如，对抗训练旨在降低现代神经网络对微小数据扰动的易感性。令人惊讶的是，尽管标准训练中基本不存在过拟合，过拟合却是对抗训练中的一个主要问题。我们在此为这一特殊的“鲁棒过拟合”现象提供理论证据。随后，我们提出一种新颖的分布鲁棒损失函数，桥接鲁棒性与泛化。我们从理论和经验上证明该损失函数享有针对两类常见corruption——数据规避与投毒攻击——的认证鲁棒性水平，同时确保有保证的泛化。我们通过细致的数值实验表明，我们所得的整体鲁棒（HR）训练过程取得了SOTA性能。最后，我们指出HR训练可解释为对抗训练的直接扩展，且带来可忽略的额外计算负担。实现我们算法的即用python库可在 https://github.com/RyanLucas3/HR_Neural_Networks 获取。
引用
@article{arxiv.2303.02251,
title = {Certified Robust Neural Networks: Generalization and Corruption Resistance},
author = {Amine Bennouna and Ryan Lucas and Bart Van Parys},
journal= {arXiv preprint arXiv:2303.02251},
year = {2023}
}