S2O：利用权重的二阶统计量增强对抗训练
机器学习
2026-03-03 v1
摘要
对抗训练已成为提高深度神经网络（DNN）鲁棒性的有效方法。它通常被概念化为在模型权重和对抗扰动之间的最小-最大优化问题，其中使用如SGD等梯度下降方法优化权重。本文提出了一种新方法，将模型权重视为随机变量，这为通过模型权重的\textbf{S}econd-Order \textbf{S}tatistics \textbf{O}ptimization（SO）增强对抗训练提供了可能。我们挑战并放宽了先前PAC-Bayesian框架中常见且常常不现实的假设：权重的统计独立性。从这种放宽出发，我们推导出改进的PAC-Bayesian鲁棒泛化界限。我们的理论发展表明，优化权重的二阶统计量可以显著紧致该界限。我们通过大量实验表明，SO不仅在孤立使用时提高了神经网络的鲁棒性和泛化性，还能无缝增强其他最先进的对抗训练技术。代码已公开于https://github.com/Alexkael/S2O。
引用
@article{arxiv.2603.01264,
title = {S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights},
author = {Gaojie Jin and Xinping Yi and Wei Huang and Sven Schewe and Xiaowei Huang},
journal= {arXiv preprint arXiv:2603.01264},
year = {2026}
}
备注
Accepted to TPAMI 2025