高斯过程混合深度网络中的对抗样本、不确定性与迁移测试鲁棒性
机器学习
2017-07-11 v1
摘要
深度神经网络 (DNNs) 具有优异的表示能力，并且在许多任务上是最先进的分类器。然而，它们往往不能很好地捕捉自身的不确定性，导致在现实世界中鲁棒性较差，因为它们会过度自信地外推并且注意不到域偏移。另一方面，具有 RBF 核的高斯过程 (GPs) 具有更好的校准不确定性，并且不会在远离其训练集数据处过度自信地外推。然而，GPs 的表示能力较差，在复杂域上表现不如 DNNs。在本文中，我们展示了 GP 混合深度网络，GPDNNs（在 DNNs 之上叠加 GPs 并端到端训练），继承了 GPs 和 DNNs 两者的良好性质，并且对对抗样本更加鲁棒。当外推到对抗样本以及在域偏移设置下测试时，GPDNNs 频繁输出高熵类别概率，本质上对应于“不知道”。因此，GPDNNs 作为一种知道何时不知道的深度架构是很有前景的。
引用
@article{arxiv.1707.02476,
title = {Adversarial Examples, Uncertainty, and Transfer Testing Robustness in Gaussian Process Hybrid Deep Networks},
author = {John Bradshaw and Alexander G. de G. Matthews and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1707.02476},
year = {2017}
}