通过曲率正则化实现鲁棒性，反之亦然
机器学习
2018-11-27 v1 计算机视觉与模式识别
机器学习
摘要
最先进的分类器已被证明对对抗扰动高度脆弱。改进鲁棒性最有效的策略之一是对抗训练。在本文中，我们研究了对抗训练对分类景观和决策边界几何结构的影响。我们特别表明，对抗训练显著降低了关于输入的损失曲面的曲率，导致网络呈现出极度“线性”的行为。利用局部二次近似，我们提供了关于大鲁棒性与小曲率之间存在强关系的理论证据。为了进一步表明降低曲率对提升鲁棒性的重要性，我们提出了一种新的正则化器，它直接最小化损失曲面的曲率，并达到了与对抗训练相当的对抗鲁棒性。除了作为对抗训练更高效且更有原则性的替代方案外，所提出的正则化器证实了我们的论断，即在数据点附近展现准线性行为对于实现鲁棒性至关重要。
引用
@article{arxiv.1811.09716,
title = {Robustness via curvature regularization, and vice versa},
author = {Seyed-Mohsen Moosavi-Dezfooli and Alhussein Fawzi and Jonathan Uesato and Pascal Frossard},
journal= {arXiv preprint arXiv:1811.09716},
year = {2018}
}