URL：一种用于可迁移不确定性估计的表示学习基准
机器学习
2023-10-20 v2 人工智能
机器学习
摘要
表示学习极大地推动了该领域发展，促使人们开发出可作为迁移到新数据集时宝贵起点的预训练模型。随着对可靠机器学习和不确定性量化的需求日益增长，亟需能够提供嵌入表示且具备可迁移不确定性估计的预训练模型。为引导此类模型的开发，我们提出了不确定性感知表示学习（Uncertainty-aware Representation Learning, URL）基准。除表示的迁移性外，它还使用一种新颖指标来衡量不确定性估计的零样本迁移性。我们应用 URL 评估了在 ImageNet 上预训练并迁移到八个下游数据集的十一种不确定性量化器。我们发现，关注表示本身不确定性或直接估计预测风险的方法优于那些基于上游类别概率的方法。然而，实现可迁移的不确定性量化仍是一项开放挑战。我们的结果表明，这并不一定与传统表示学习目标相冲突。代码见 https://github.com/mkirchhof/url。
引用
@article{arxiv.2307.03810,
title = {URL: A Representation Learning Benchmark for Transferable Uncertainty Estimates},
author = {Michael Kirchhof and Bálint Mucsányi and Seong Joon Oh and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2307.03810},
year = {2023}
}
备注
Accepted at the Neural Information Processing Systems Track on Datasets and Benchmarks (NeurIPS D&B 2023)