深度神经网络中基于集成密度传播的鲁棒学习
机器学习
2021-11-12 v1 人工智能
计算机视觉与模式识别
概率论
摘要
在不确定、含噪声或对抗性环境中学习对深度神经网络（DNNs）而言是一项挑战性任务。我们提出了一种基于贝叶斯估计与变分推断的、具有理论依据且高效的鲁棒学习新方法。我们阐述了密度在DNN各层间传播的问题，并使用集成密度传播（EnDP）方案求解。EnDP方法使我们能够沿贝叶斯DNN各层传播变分概率分布的矩，从而可在模型输出处估计预测分布的均值与协方差。我们在MNIST和CIFAR-10数据集上的实验表明，训练模型的鲁棒性对随机噪声与对抗攻击均有显著提升。
引用
@article{arxiv.2111.05953,
title = {Robust Learning via Ensemble Density Propagation in Deep Neural Networks},
author = {Giuseppina Carannante and Dimah Dera and Ghulam Rasool and Nidhal C. Bouaynaya and Lyudmila Mihaylova},
journal= {arXiv preprint arXiv:2111.05953},
year = {2021}
}
备注
submitted to 2020 IEEE International Workshop on Machine Learning for Signal Processing