灾难性过拟合中的局部线性和双下降
机器学习
2021-11-23 v1
摘要
灾难性过拟合是在使用快速梯度符号法(FGSM)的对抗训练(AT)中观察到的一种现象，其中测试鲁棒性在训练阶段仅一个 epoch 内急剧下降。先前工作将这种鲁棒性损失归因于神经网络相对于输入空间的 急剧下降，并证明引入局部线性度量作为正则化项可防止灾难性过拟合。使用一个简单神经网络架构，我们通过实验证明保持高局部线性可能 防止灾难性过拟合但并非 。进一步，受 Parseval 网络启发，我们向使用 FGSM 的 AT 引入一个正则化项以使网络权重矩阵正交，并研究网络权重正交性与局部线性之间的关联。最后，我们识别出对抗训练过程中的 现象。
引用
@article{arxiv.2111.10754,
title = {Local Linearity and Double Descent in Catastrophic Overfitting},
author = {Varun Sivashankar and Nikil Selvam},
journal= {arXiv preprint arXiv:2111.10754},
year = {2021}
}
备注
To appear in 9th ACM IKDD CODS and 27th COMAD, 2022