通过持续激励提升神经网络鲁棒性
机器学习
2021-10-18 v5 计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
提升神经网络的对抗鲁棒性仍是一项重大挑战。从根本上说，通过梯度下降训练神经网络是一个参数估计问题。在自适应控制中，保持持续激励（persistency of excitation, PoE）对于确保动态系统参数估计收敛至其真值至关重要。我们表明，使用梯度下降的参数估计可建模为对自适应线性时变连续系统的采样。利用该模型，并受模型参考自适应控制（Model-Reference Adaptive Control, MRAC）启发，我们证明了一个充分条件，可将梯度下降更新约束于收敛至真实参数的参考持续激励轨迹上。当学习率小于损失函数梯度的Lipschitz常数的倒数时，该充分条件即被满足。我们提供了一种利用极值理论在实践中高效估计相应Lipschitz常数的技术。我们在标准与对抗训练中的实验结果表明，使用PoE驱动的学习率调度训练的网络的干净准确率相近，但对对抗攻击的鲁棒性显著优于使用当前最先进启发式方法训练的模型。
引用
@article{arxiv.2106.02078,
title = {Improving Neural Network Robustness via Persistency of Excitation},
author = {Kaustubh Sridhar and Oleg Sokolsky and Insup Lee and James Weimer},
journal= {arXiv preprint arXiv:2106.02078},
year = {2021}
}