基于重叠指数的离分布检测
机器学习
2024-12-10 v1 机器学习
摘要
离分布（OOD）检测对于机器学习模型在开放世界中的部署至关重要。虽然现有OOD检测器在识别显著偏离分布数据（ID）的OOD样本方面有效，但往往伴随权衡。例如，深度OOD检测器通常计算成本高，需调参，且解释性有限；而传统OOD检测器在大型高维数据集上可能准确率较低。为解决这些限制，我们提出一种新型有效的OOD检测方法，采用基于重叠指数的（OI）置信度评分函数来评估给定输入属于可用ID样本相同分布的可能性。我们提出的OI-based置信度评分函数是非参数的、轻量级的，易于解释，因此提供了强大的灵活性和通用性。广泛的经验评估表明，我们的OI-basedOOD检测器在广泛数据集上检测准确率与最先进检测器相当，同时所需计算和内存成本更低。最后，我们表明，所提出的OI-based置信度评分函数继承了OI的优良特性（例如对小分布性变化不敏感，对Huber-污染具有鲁棒性），是估计OI和特定上下文中模型准确性的通用工具。
引用
@article{arxiv.2412.06168,
title = {Out-of-Distribution Detection with Overlap Index},
author = {Hao Fu and Prashanth Krishnamurthy and Siddharth Garg and Farshad Khorrami},
journal= {arXiv preprint arXiv:2412.06168},
year = {2024}
}