对抗样本现象的边界倾斜视角
机器学习
2016-08-30 v1 机器学习
摘要
深度神经网络已被证明存在一个令人惊讶的弱点：其分类输出可被输入的微小、非随机扰动所改变。这一对抗样本现象曾被解释为源于深度网络“过于线性”（Goodfellow 等人，2014）。本文表明，对抗样本的线性解释存在若干局限：形式论证不具说服力，线性分类器并非总是遭遇该现象，且当它们遭遇时，其对抗样本也不同于影响深度网络的对抗样本。我们对该现象提出一种新视角。我们论证，当分类边界紧邻采样数据的子流形时，对抗样本便会出现，并在线性情形下对这一新视角进行了数学分析。我们定义了对抗强度的概念，并证明其可归结为所考虑分类器与最近质心分类器之间的偏离角。进而，我们证明，由于一种我们称为边界倾斜的机制，对抗强度可被任意提高，而与分类性能无关。这一结果引导我们定义了一种新的对抗样本分类法。最后，我们证明实践中观察到的对抗强度直接依赖于所使用的正则化水平，而最强的对抗样本（过拟合的征兆）可通过使用适当的正则化水平加以避免。
引用
@article{arxiv.1608.07690,
title = {A Boundary Tilting Persepective on the Phenomenon of Adversarial Examples},
author = {Thomas Tanay and Lewis Griffin},
journal= {arXiv preprint arXiv:1608.07690},
year = {2016}
}
备注
arXiv admin note: text overlap with arXiv:1412.6572 by other authors