分布偏移与长尾数据下现代视觉架构上保角预测的实证验证
机器学习
2023-07-06 v1 计算机视觉与模式识别
机器学习
摘要
保角预测（conformal prediction）已成为为深度学习模型提供可靠不确定性估计与安全保证的严格手段。然而，已知其性能在分布偏移与长尾类分布下会退化，而这两者常存在于真实世界应用中。在此，我们刻画了若干事后与基于训练的保角预测方法在这些设定下的性能，提供了在大规模数据集与模型上的首次实证评估。我们表明，在众多保角方法与神经网络族中，性能在分布偏移下严重退化，违背了安全保证。类似地，我们表明在长尾设定中，许多类上的保证频繁被违背。理解这些方法的局限性对于在真实世界与安全关键应用中的部署是必要的。
引用
@article{arxiv.2307.01088,
title = {Empirically Validating Conformal Prediction on Modern Vision Architectures Under Distribution Shift and Long-tailed Data},
author = {Kevin Kasa and Graham W. Taylor},
journal= {arXiv preprint arXiv:2307.01088},
year = {2023}
}