学习动力学如何驱动对抗鲁棒泛化？
机器学习
2026-03-10 v3
摘要
尽管对抗训练广泛用作学习鲁棒模型的标准框架，但仍存在鲁棒过拟合问题。现有的经验措施和理论探索不足以提供令人满意的机制性见解。我们将对抗训练视为离散时间动力系统，引入 PAC-Bayesian 分析框架，证明时间分辨的鲁棒泛化界限。具体而言，我们的框架在-stationary 与 non-stationary 瞬态 regime 下跟踪后验均值和协方差的闭式演化，揭示其与学习率、损失景观几何以及小批量随机梯度之间的联系。通过经验近似我们理论所隐含的统计量，我们提供一种统一的、机制性的解释，说明对抗权重扰动如何通过抑制损失曲率来缩小鲁棒泛化差距，但其设计可能因过度惩罚而不够理想。
引用
@article{arxiv.2410.07719,
title = {How Learning Dynamics Drive Adversarially Robust Generalization?},
author = {Yuelin Xu and Xiao Zhang},
journal= {arXiv preprint arXiv:2410.07719},
year = {2026}
}