从均值场视角看对抗训练
机器学习
2025-05-21 v1 计算机视觉与模式识别
机器学习
摘要
尽管对抗训练已被证明在对抗样本上有效，但其训练动力学仍不被充分理解。本研究首次在无数据分布假设的随机深度神经网络中进行对抗训练的理论分析。我们提出一种基于均值场理论的新型理论框架，以解决现有均值场方法的局限性。基于该框架，我们推导了各种 p 和 q 值下，基于 ℓ_p 范数对抗样本所引起的基于 ℓ_q 范数对抗损失的（实验紧密）上界。此外，我们证明了无捷径路径的网络在一般情况下难以进行对抗训练，且对抗训练会降低网络容量。我们还展示了网络宽度如何缓解上述问题。进一步地，我们呈现了输入维度和输出维度对上界以及权重方差演化时间上的各种影响。
引用
@article{arxiv.2505.14021,
title = {Adversarial Training from Mean Field Perspective},
author = {Soichiro Kumano and Hiroshi Kera and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2505.14021},
year = {2025}
}
备注
NeurIPS23