在未见分布上带置信度地预测

近期工作表明，当机器学习模型在取自与训练分布接近但不同的分布的数据上评估时，其性能可能有显著差异。因此，预测模型在未见分布上的性能是一项重要挑战。我们的工作连接了域适应与预测不确定性文献中的技术，使我们能够在无标注数据的情况下预测模型在具有挑战性的未见分布上的准确率。在分布偏移背景下，分布距离常被用于适应模型并提升其在新域上的性能，然而在这些研究中，准确率估计或其他形式的预测不确定性常被忽视。通过考察广泛的既有分布距离，如 Fréchet 距离或最大均值差异，我们确定它们无法在分布偏移下引出可靠的性能估计。另一方面，我们发现分类器预测的信心差（DoC）能成功估计分类器在各种偏移下的性能变化。我们具体考察了合成分布偏移与自然分布偏移之间的区别，并观察到尽管简单，DoC 始终优于其他分布差异的量化方式。$DoC$ 在多个现实且具挑战性的分布偏移（如 ImageNet-Vid-Robust 和 ImageNet-Rendition 数据集）上将预测误差降低了近一半（$46\%$）。