带有 Voronoi 约束的对抗训练
机器学习
2019-05-06 v1 计算几何
机器学习
摘要
对抗样本是机器学习模型中的一种普遍现象，其中对输入进行看似难以察觉的扰动会导致在统计上原本准确的模型出现误分类。我们提出了一个几何框架，借鉴流形重构文献中的工具，来分析对抗样本的高维几何特性。特别地，我们强调了余维数的重要性：对于嵌入在高维空间中的低维数据流形，存在许多离开流形的方向，对手可以在这些方向上构造对抗样本。对抗样本是学习到一个决策边界的自然结果，该边界能对低维数据流形进行良好分类，但对流形附近的点分类错误。利用我们的几何框架，我们证明了对抗训练的样本效率低下，并展示了最近邻分类器和基于球的对抗训练具有鲁棒性的充分采样条件。最后，我们引入了带有 Voronoi 约束的对抗训练，它用训练集中每个点的 Voronoi 单元替换了范数球约束。我们表明，带有 Voronoi 约束的对抗训练产生了鲁棒的模型，在 MNIST 上显著优于现有最先进的方法，并在 CIFAR-10 上具有竞争力。
引用
@article{arxiv.1905.01019,
title = {Adversarial Training with Voronoi Constraints},
author = {Marc Khoury and Dylan Hadfield-Menell},
journal= {arXiv preprint arXiv:1905.01019},
year = {2019}
}
备注
arXiv admin note: substantial text overlap with arXiv:1811.00525