深度神经网络的多维不确定性量化
机器学习
2023-04-21 v1
摘要
深度神经网络（DNNs）已受到极大关注，并在图像与视频分析、自然语言处理、推荐系统和药物发现等各种应用中取得巨大成功。然而，由不同根源导致的固有不确定性已被认识到是 DNNs 为现实问题找到鲁棒且可信解决方案的严重障碍。缺乏对这类不确定性的考量可能导致不必要的风险。例如，自动驾驶汽车可能误检道路上的行人；基于深度学习的医疗辅助系统可能将癌症误诊为良性肿瘤。在这项工作中，我们研究如何度量 DNNs 的不同不确定性根源，并利用它们更有效地解决多样的决策问题。在本论文的第一部分，我们开发了一个通用学习框架，用于量化由不同根源引起的多种不确定性类型，例如空洞性（即由于缺乏证据导致的不确定性）和分歧性（即由于证据冲突导致的不确定性），针对图神经网络。我们提供了不同不确定性类型之间关系的理论分析。我们进一步证明分歧性对误分类检测最有效，而空洞性对分布外（OOD）检测最有效。在论文的第二部分，我们研究了 OOD 对象对 DNNs 半监督学习（SSL）的显著影响，并开发了一种新框架来提高现有 SSL 算法对 OOD 的鲁棒性。在论文的最后部分，我们创建了一个通用学习框架来量化多标签时序神经网络的多种不确定性类型。我们进一步开发了新颖的不确定性融合算子，以量化子序列的融合不确定性用于早期事件检测。
引用
@article{arxiv.2304.10527,
title = {Multidimensional Uncertainty Quantification for Deep Neural Networks},
author = {Xujiang Zhao},
journal= {arXiv preprint arXiv:2304.10527},
year = {2023}
}
备注
PhD dissertation. arXiv admin note: text overlap with arXiv:2010.12783