利用置信最优传输预测分布外误差
机器学习
2023-02-13 v1 计算机视觉与模式识别
摘要
分布外（OOD）数据在已部署的机器学习模型中带来严峻挑战，因为即便细微的变化也可能导致显著的性能下降。能够估计模型在测试数据上的性能在实践中十分重要，因为它指示了何时可以信任模型的决策。我们提出一种简单而有效的方法，无需任何额外标注即可预测模型在未知分布上的性能。我们的方法根植于最优传输理论，将深度神经网络对测试样本输出的 softmax 分数视为来自未知分布的经验样本。我们表明，我们的方法——置信最优传输（COT）——能够对模型在目标域上的性能提供稳健估计。尽管简单，我们的方法在三个基准数据集上取得了最先进的结果，并以较大优势超越现有方法。
引用
@article{arxiv.2302.05018,
title = {Predicting Out-of-Distribution Error with Confidence Optimal Transport},
author = {Yuzhe Lu and Zhenlin Wang and Runtian Zhai and Soheil Kolouri and Joseph Campbell and Katia Sycara},
journal= {arXiv preprint arXiv:2302.05018},
year = {2023}
}