基于权重熵最大化的深度分布外不确定性量化
机器学习
2025-02-03 v2
摘要
本文利用贝叶斯与集成方法研究深度学习中的不确定性量化与分布外检测问题。针对近期标准方法在分布外场景下表现出的预测多样性不足问题（Ovadia 等, 2019; Liu 等, 2021），本文提出了一种实用解决方案。我们认为该问题主要源于权重多样性的缺失，并指出标准方法由于采用权重衰减与零均值高斯先验等“过度正则化”手段，在权重空间中于“过度受限”区域内进行采样。我们提出通过采用权重分布的最大熵原理来解决该问题，其核心思想在于最大化权重多样性。在此范式下，认知不确定性由产生与训练观测“一致”的神经网络的、具有最大熵的权重分布所刻画。针对随机神经网络，我们推导了一种实用优化方法以构建此类分布，其定义为平均经验风险与权重分布熵之间的权衡。我们基于神经网络隐表示的奇异值分解，为随机模型开发了一种新的权重参数化方法，从而以较小的经验风险惩罚实现权重熵的大幅提升。我们提供了理论与数值结果以评估该方法的有效性。特别地，所提算法在一个包含三十余个对比方法的广泛分布外检测基准的所有配置中均位列前三。
引用
@article{arxiv.2309.15704,
title = {Deep Out-of-Distribution Uncertainty Quantification via Weight Entropy Maximization},
author = {Antoine de Mathelin and François Deheeger and Mathilde Mougeot and Nicolas Vayatis},
journal= {arXiv preprint arXiv:2309.15704},
year = {2025}
}