良性与对抗训练下神经正切核的演化
机器学习
2022-10-24 v1 人工智能
神经与进化计算
机器学习
摘要
现代深度学习面临的两个关键挑战是缓解深度网络对对抗攻击的脆弱性，以及理解深度学习的泛化能力。针对第一个问题，已开发出许多防御策略，其中最常见的是对抗训练（AT）。针对第二个挑战，涌现出的主导理论之一是神经正切核（NTK）——对无限宽度极限下神经网络行为的刻画。在此极限下，核被冻结，底层特征映射固定。然而在有限宽度下，有证据表明特征学习发生在训练早期阶段（核学习），之后进入核保持固定的第二阶段（惰性训练）。尽管先前工作旨在通过冻结的无限宽度 NTK 研究对抗脆弱性，但尚未有研究考察训练期间经验/有限 NTK 的对抗鲁棒性。本工作中，我们对标准和对抗训练下经验 NTK 的演化进行实证研究，旨在厘清对抗训练对核学习与惰性训练的影响。我们发现，在对抗训练下，经验 NTK 迅速收敛到与标准训练不同的核（及特征映射）。这一新核提供了对抗鲁棒性，即使在其上执行非鲁棒训练也是如此。此外，我们发现，在固定核之上进行对抗训练，可在 CIFAR-10 上针对 的 PGD 攻击获得鲁棒准确率为 的分类器。
引用
@article{arxiv.2210.12030,
title = {Evolution of Neural Tangent Kernels under Benign and Adversarial Training},
author = {Noel Loo and Ramin Hasani and Alexander Amini and Daniela Rus},
journal= {arXiv preprint arXiv:2210.12030},
year = {2022}
}
备注
Accepted to the Conference on Advances in Neural Information Processing Systems (NeurIPS) 2022