基于神经正切核重新思考对抗训练
机器学习
2023-12-06 v1 人工智能
摘要
对抗训练（AT）是深度学习安全性中一个重要且引人入胜的课题，展现出许多神秘和奇特的性质。最近基于神经正切核（NTK）对神经网络训练动力学的研究，使得重新认识 AT 并深入分析其性质成为可能。在本文中，我们利用 NTK 对 AT 过程和性质（如 NTK 演化）进行了深入调查。我们揭示了以往工作中遗漏的三个新发现。首先，我们揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计量的重要性。其次，我们通过实验探索了核动力学，并提出了更省时的 AT 方法。第三，我们研究了核内部的谱特征，以解决灾难性过拟合问题。据我们所知，这是首个利用核动力学观察来改进现有 AT 方法的工作。
引用
@article{arxiv.2312.02236,
title = {Rethinking Adversarial Training with Neural Tangent Kernel},
author = {Guanlin Li and Han Qiu and Shangwei Guo and Jiwei Li and Tianwei Zhang},
journal= {arXiv preprint arXiv:2312.02236},
year = {2023}
}