宽深度神经网络鲁棒过拟合的理论分析：一种神经正切核方法
机器学习
2024-02-06 v2 机器学习
摘要
对抗训练（AT）是增强深度神经网络（DNN）鲁棒性的一种经典方法。然而，近期研究通过实证表明，它存在鲁棒过拟合问题，即长时间的 AT 会对 DNN 的鲁棒性产生不利影响。本文对 DNN 的鲁棒过拟合给出了理论解释。具体而言，我们将神经正切核（NTK）理论非平凡地推广到 AT，并证明对抗训练的宽 DNN 可以被线性化 DNN 很好地近似。此外，对于平方损失，可以推导出线性化 DNN 的闭式 AT 动力学，其揭示了一种新的 AT 退化现象：长期 AT 将导致宽 DNN 退化为无 AT 时得到的网络，从而引发鲁棒过拟合。基于我们的理论结果，我们进一步设计了一种称为 Adv-NTK 的方法，这是首个面向无限宽 DNN 的 AT 算法。在真实数据集上的实验表明，Adv-NTK 能够帮助无限宽 DNN 获得与其有限宽对应网络相当的鲁棒性，这反过来印证了我们的理论发现。代码见 https://github.com/fshp971/adv-ntk。
引用
@article{arxiv.2310.06112,
title = {Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach},
author = {Shaopeng Fu and Di Wang},
journal= {arXiv preprint arXiv:2310.06112},
year = {2024}
}
备注
In Twelfth International Conference on Learning Representations (ICLR 2024)