理解深度神经网络的决策边界：一项实证研究
机器学习
2020-02-06 v1 密码学与安全
机器学习
摘要
尽管最先进的机器学习(ML)分类器在许多图像分类任务上取得了卓越性能，但它们仍然容易受到微小输入扰动的影响。尤其是对抗样本的存在，引发了人们对在自动驾驶和疾病检测等安全与安保关键环境中部署ML模型的担忧。过去几年中，大量防御方法被发表，旨在提升对抗鲁棒性以及 corruption 鲁棒性。然而，所提出的措施仅在非常有限的程度上取得了成功。这一有限进展部分源于对深度神经网络决策边界与决策区域缺乏理解。因此，我们研究了数据点距决策边界的最小距离，以及该间隔在深度神经网络训练过程中如何演变。通过在 MNIST、FASHION-MNIST 和 CIFAR-10 上进行实验，我们观察到在训练过程中决策边界向自然图像靠近。这一现象甚至在训练后期 epoch 中依然保持，此时分类器已获得较低的训练与测试错误率。另一方面，对抗训练似乎有潜力阻止决策边界的这种不良收敛。
引用
@article{arxiv.2002.01810,
title = {Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study},
author = {David Mickisch and Felix Assion and Florens Greßner and Wiebke Günther and Mariele Motta},
journal= {arXiv preprint arXiv:2002.01810},
year = {2020}
}