论深度神经网络中域外不确定性估计的攻击
机器学习
2022-10-13 v2 人工智能
计算机视觉与模式识别
摘要
在许多具有现实后果的应用中，为AI决策系统所作预测开发可靠的不确定性估计至关重要。针对不确定性估计目标，已提出多种基于深度神经网络（DNN）的不确定性估计算法。然而，这些算法返回的不确定性之鲁棒性尚未被系统探究。本工作中，为提升研究界对鲁棒不确定性估计的意识，我们展示了最先进的不确定性估计算法在我们提出的对抗攻击下可能灾难性失效，尽管它们在不确定性估计上表现优异。具体而言，我们旨在攻击域外不确定性估计：在我们的攻击下，不确定性模型会被欺骗而对域外数据作出高置信预测，而它们原本会拒绝这些数据。在各种基准图像数据集上的大量实验结果表明，最先进方法估计的不确定性可被我们的攻击轻易破坏。
引用
@article{arxiv.2210.02191,
title = {On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks},
author = {Huimin Zeng and Zhenrui Yue and Yang Zhang and Ziyi Kou and Lanyu Shang and Dong Wang},
journal= {arXiv preprint arXiv:2210.02191},
year = {2022}
}