真实世界分布偏移下你的回归模型不确定性究竟有多可靠？
机器学习
2023-11-08 v2 计算机视觉与模式识别
摘要
许多重要的计算机视觉应用自然地被表述为回归问题。在医学影像中，准确的回归模型有潜力自动化各类任务，有助于降低成本并改善患者预后。然而，此类安全关键的部署确实需要可靠的不确定性估计，也包括在实践可能遇到的多种多样的分布偏移下。受此驱动，我们着手研究各种真实世界分布偏移下回归不确定性估计方法的可靠性。为此，我们提出了由 8 个基于图像的回归数据集组成的广泛基准，其具有不同类型的挑战性分布偏移。随后我们利用该基准评估了许多最常见的不确定性估计方法，以及来自分布外检测任务的两个最先进不确定性分数。我们发现，尽管方法在无分布偏移时校准良好，但在许多基准数据集上它们都变得高度过度自信。这揭示了当前不确定性估计方法的重要局限，因此所提基准构成了对研究界的挑战。我们希望我们的基准能激发更多关于如何开发真正可靠的回归不确定性估计方法的工作。代码见 https://github.com/fregu856/regression_uncertainty。
引用
@article{arxiv.2302.03679,
title = {How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts?},
author = {Fredrik K. Gustafsson and Martin Danelljan and Thomas B. Schön},
journal= {arXiv preprint arXiv:2302.03679},
year = {2023}
}
备注
TMLR, 2023. Code is available at https://github.com/fregu856/regression_uncertainty