论鲁棒过拟合：对抗训练诱导的分布至关重要
机器学习
2024-02-13 v2
摘要
对抗训练可视为采用修正损失函数的标准训练。但其在标准损失下的泛化误差明显大于标准训练。这一现象被称为鲁棒过拟合，已引起大量研究关注，且大体上仍是一个谜。本文首先通过实验表明，鲁棒过拟合与对抗训练轨迹中扰动诱导分布（具体为基于 PGD 的对抗训练）的泛化难度增加相关。随后，我们针对扰动诱导分布给出了一个新的泛化误差上界，其中被称为“局部离散度”的扰动算子概念起着重要作用。实验结果验证了该上界的有效性，并提供了多种额外见解。
引用
@article{arxiv.2311.16526,
title = {On robust overfitting: adversarial training induced distribution matters},
author = {Runzhi Tian and Yongyi Mao},
journal= {arXiv preprint arXiv:2311.16526},
year = {2024}
}