基于最优传输刻画分布外误差
机器学习
2023-10-31 v3 计算机视觉与模式识别
摘要
分布外（OOD）数据在已部署的机器学习模型中带来严重挑战，因此无需标签即可预测模型在 OOD 数据上性能的方法对机器学习安全至关重要。尽管已有工作提出了若干方法，它们常常低估实际误差，有时差距很大，这极大影响了其在真实任务中的适用性。在本工作中，我们识别出伪标签偏移（即预测的与真实的 OOD 标签分布之间的差异）作为这种低估的关键指标。基于该观察，我们引入了一种利用最优传输理论估计模型性能的新方法——置信最优传输（COT），并证明它在伪标签偏移存在时能提供更具鲁棒性的误差估计。此外，我们引入了 COT 的基于经验动机的变体——带阈值的置信最优传输（COTT），其对个体传输成本应用阈值处理，进一步提升了 COT 误差估计的准确性。我们在多种引发各类分布偏移的标准基准上评估了 COT 和 COTT——包括合成、新颖子群体和自然分布偏移——并表明我们的方法以最高 3 倍的更低预测误差显著优于现有最先进方法。
引用
@article{arxiv.2305.15640,
title = {Characterizing Out-of-Distribution Error via Optimal Transport},
author = {Yuzhe Lu and Yilong Qin and Runtian Zhai and Andrew Shen and Ketong Chen and Zhenlin Wang and Soheil Kolouri and Simon Stepputtis and Joseph Campbell and Katia Sycara},
journal= {arXiv preprint arXiv:2305.15640},
year = {2023}
}
备注
NeurIPS 2023