确定性不确定性方法的训练、架构与先验
机器学习
2023-03-30 v2
摘要
准确高效的不确定性估计对于构建能够提供校准不确定性估计、具备泛化能力并检测分布外（OOD）数据集的可靠机器学习（ML）模型至关重要。为此，确定性不确定性方法（DUMs）是一类有前景的模型族，能够在单次前向传播中执行不确定性估计。本工作研究了 DUMs 中的重要设计选择：（1）我们表明，解耦核心架构与不确定性头方案的训练方案可显著提升不确定性性能。（2）我们证明核心架构的表达能力对不确定性性能至关重要，且为避免特征坍缩而施加的额外架构约束会损害 OOD 泛化与检测之间的权衡。（3）与其他贝叶斯模型相反，我们表明 DUMs 所定义的先验对最终性能没有强烈影响。
引用
@article{arxiv.2303.05796,
title = {Training, Architecture, and Prior for Deterministic Uncertainty Methods},
author = {Bertrand Charpentier and Chenxiang Zhang and Stephan Günnemann},
journal= {arXiv preprint arXiv:2303.05796},
year = {2023}
}