贝叶斯深度学习在对抗与分布外设定下近似后验推断的衍生影响
机器学习
2020-10-06 v2 人工智能
信息论
机器学习
math.IT
摘要
深度神经网络已在多种判别分类任务中取得成功，尽管它们校准不良，常对误分类预测赋予高概率。当模型部署于实际应用、依据置信分数评估预测时，潜在后果可能影响模型的可信度与可问责性。现有方案建议通过结合深度神经网络与贝叶斯推断来量化模型对模糊数据点的预测不确定性所带来的益处。本工作中，我们提出验证并测试基于似然的模型在分布外检测（OoD）任务中的效能。在不同数据集与度量下，我们表明贝叶斯深度学习模型在某些情形下仅 marginally 优于常规神经网络，且在分布内/外类别间重叠极小时，即便最优模型在检测 OoD 数据时的 AUC 分数也出现下降。初步研究指示由初始化、架构或激活函数的选择引起的偏置的潜在固有作用。我们假设神经网络对未见输入的敏感性可能是一种多因素现象，源于不同的架构设计选择，并常被维数灾难放大。此外，我们开展研究以探明对抗噪声抵抗方法对分布内与分布外性能的影响，并考察贝叶斯深度学习器的对抗噪声鲁棒性。
引用
@article{arxiv.2009.01798,
title = {Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings},
author = {John Mitros and Arjun Pakrashi and Brian Mac Namee},
journal= {arXiv preprint arXiv:2009.01798},
year = {2020}
}
备注
AROW@ECCV2020