从特征泛化视角理解鲁棒过拟合
机器学习
2024-07-30 v2
摘要
对抗训练(AT)通过将对抗扰动引入自然数据来构建鲁棒神经网络。然而,它深受鲁棒过拟合(RO)问题的困扰,严重损害模型鲁棒性。本文从全新的特征泛化视角研究RO。具体而言,我们设计因子消融实验来评估自然数据和对抗扰动对RO的各自影响,识别出RO的诱发因素源于自然数据。鉴于对抗训练与自然训练的唯一区别在于是否包含对抗扰动,我们进一步假设对抗扰动降低了自然数据中特征的泛化能力,并通过大量实验验证了该假设。基于这些发现,我们从特征泛化视角对RO给出整体认识,并解释了与RO相关的各种经验现象。为检验我们的特征泛化视角,我们设计了两种代表性方法——攻击强度与数据增强,以防止AT期间特征泛化退化。在基准数据集上的大量实验表明,所提方法能有效缓解RO并增强对抗鲁棒性。
引用
@article{arxiv.2310.00607,
title = {Understanding Robust Overfitting from the Feature Generalization Perspective},
author = {Chaojian Yu and Xiaolong Shi and Jun Yu and Bo Han and Tongliang Liu},
journal= {arXiv preprint arXiv:2310.00607},
year = {2024}
}