受强稳定性保持 Runge-Kutta 方法启发的鲁棒神经网络
计算机视觉与模式识别
2020-10-21 v1
摘要
深度神经网络已在诸多领域取得最先进的性能。近期工作观察到，一类广泛使用的神经网络可视为数值离散化的欧拉方法。从数值离散化视角看，强稳定性保持（SSP）方法比显式欧拉方法更为先进，能够给出准确且稳定的解。受 SSP 性质与广义 Runge-Kutta 方法启发，我们提出强稳定性保持网络（SSP networks），以提升针对对抗攻击的鲁棒性。我们通过实验证明，所提网络无需任何防御方法即可改善对对抗样本的鲁棒性。此外，SSP 网络与最先进的对抗训练方案互补。最后，我们的实验表明 SSP 网络抑制了对抗扰动的爆发性增长。我们的结果开辟了一条利用数值离散化文献中的丰富知识来研究神经网络鲁棒架构的途径。
引用
@article{arxiv.2010.10047,
title = {Robust Neural Networks inspired by Strong Stability Preserving Runge-Kutta methods},
author = {Byungjoo Kim and Bryce Chudomelka and Jinyoung Park and Jaewoo Kang and Youngjoon Hong and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2010.10047},
year = {2020}
}
备注
ECCV 2020