Laplacian 网络：约束指示函数平滑性以提升神经网络鲁棒性
机器学习
2018-10-04 v2 密码学与安全
机器学习
摘要
在过去几年中，深度神经网络 (DNN) 的鲁棒性已成为一个至关重要的问题。事实上，在敏感场景中，误分类可能导致严重的后果。当面临对抗攻击、硬件故障或限制以及不完美的信号获取时，此类误分类极易发生。为了解决这一问题，研究人员提出了多种旨在提高 DNN 鲁棒性的方法，例如添加正则化项或使用带噪声的样本进行训练。在本文中，我们提出了一种新的正则化项，它建立在由 DNN 架构每一层的训练数据表示所获得的相似性图的 Laplacian 之上。该正则化项惩罚不同类别样本之间距离（在架构的连续层之间）的剧烈变化，从而强制类别边界平滑变化。由于它对使用 DNN 进行预测时所预期的变形类型是不可知的，因此该正则化项可与现有的特定方法相结合。我们为该正则化项提供了理论证明，并在经典监督学习视觉数据集上展示了其提升 DNN 鲁棒性的有效性。
引用
@article{arxiv.1805.10133,
title = {Laplacian Networks: Bounding Indicator Function Smoothness for Neural Network Robustness},
author = {Carlos Eduardo Rosar Kos Lassance and Vincent Gripon and Antonio Ortega},
journal= {arXiv preprint arXiv:1805.10133},
year = {2018}
}
备注
12 pages, github link coming soon