基于梯度共轭先验的深度神经网络离群值鲁棒性
机器学习
2019-05-22 v1 人工智能
机器学习
动力系统
摘要
我们分析了在存在输出离群值的情况下重建观测数据概率分布的一种新鲁棒方法。它基于所谓的梯度共轭先验（GCP）网络，该网络输出先验的参数。通过严格研究 GCP 学习过程的动力学，我们推导出一个显式公式，用于修正所得边际分布的方差并消除训练集中离群值引起的偏差。假设一个被比例为 的离群值污染的高斯（输入依赖）真实分布，我们证明拟合均值位于真实均值的 邻域内，且修正后的方差位于真实方差的 邻域内，而边际分布的未修正方差甚至可能为无穷。我们在没有离群值（可能输入依赖）分布先验知识的情况下，显式地将 求为 GCP 网络输出的函数。使用合成与真实世界数据集的实验表明，用标准优化器拟合的 GCP 网络在回归任务上优于其他鲁棒方法。
引用
@article{arxiv.1905.08464,
title = {Robustness Against Outliers For Deep Neural Networks By Gradient Conjugate Priors},
author = {Pavel Gurevich and Hannes Stuke},
journal= {arXiv preprint arXiv:1905.08464},
year = {2019}
}