预训练视觉不确定性
计算机视觉与模式识别
2024-02-28 v2 机器学习
摘要
准确的不确定性估计对于可信机器学习至关重要，然而不确定性通常需要为每个任务重新学习。本文介绍了首个用于视觉模型的预训练不确定性模块。类似于标准预训练，这使得在大规模预训练数据集上学习到的不确定性能够零样本迁移到专门的下游数据集。我们通过解决先前不确定性模块中的梯度冲突并将训练加速高达180倍，实现了在ImageNet-21k上的大规模预训练。我们发现预训练的不确定性能够泛化到未见过的数据集。在仔细审视学习到的不确定性时，我们发现它们捕捉了偶然不确定性，并与认知不确定性分离。我们证明这可以实现安全检索和不确定性感知的数据集可视化。为了鼓励在更多问题和领域中的应用，我们在https://github.com/mkirchhof/url上发布了所有预训练检查点和代码。
引用
@article{arxiv.2402.16569,
title = {Pretrained Visual Uncertainties},
author = {Michael Kirchhof and Mark Collier and Seong Joon Oh and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2402.16569},
year = {2024}
}