硕士论文：基于能量模型的分布外检测

如今，深度学习正日益应用于自动驾驶和医学诊断等安全关键场景。尽管取得成功，深度网络的行为与鲁棒性尚未被完全理解，带来了显著风险。特别是，研究者近期发现神经网络对其预测过度自信，即便面对从未见过的数据也是如此。为解决此问题，文献中可区分两类方法。一类考虑预测中的不确定性，另一类估计训练数据的底层密度以判断给定输入是否接近训练数据，从而网络能够如预期般工作。本论文中，我们研究能量模型（EBMs）在拟合训练数据分布以执行分布外（OOD）输入检测任务上的能力。我们发现，在大多数数据集上，尽管 EBMs 具有灵活性，但其检测 OOD 数据的能力并未固有地优于其他密度估计器。因此，我们进一步研究了监督、降维和架构修改对 EBMs 性能的影响。此外，我们提出能量先验网络（EPN），其能够在 EBM 分类框架内估计多种不确定性，弥合了解决 OOD 检测问题两类方法间的鸿沟。我们识别出 Dirichlet 分布的浓度参数与 EBM 中联合能量之间的联系。此外，这使得无需留出 OOD 数据集即可优化，而某些应用中此类数据集可能不可用或收集成本高昂。最后，我们通过实证证明能量先验网络（EPN）能够检测 OOD 输入、数据集偏移和对抗样本。理论上，EPN 对输入远离训练数据的渐近情形提供了良好性质。