中文

MetaOOD:面向 OOD 检测模型的自动选择

机器学习 2025-03-03 v2

摘要

我们如何为各种底层任务自动选择一种异常分布(OOD)检测模型?这对于通过识别数据分布偏移来维持开放世界应用的可靠性尤为关键,尤其是在线交易、自动驾驶和实时患者诊断等关键领域。尽管大量 OOD 检测方法可用,但针对不同任务选择最佳模型的挑战仍在缺乏 ground truth 标签的情况下备受忽视。本文引入 MetaOOD,首个零样本、无监督框架,利用元学习自动选择 OOD 检测模型。作为元学习方法,MetaOOD 利用历史数据在各种基准 OOD 检测数据集上的性能,使其能够在无需测试时标签数据的情况下为新数据集选择合适模型。为更准确地量化任务相似性,我们引入基于语言模型的嵌入来捕捉数据集和检测模型的独特 OOD 特征。通过在 24 对独特测试数据集对中进行大量实验,从 11 种 OOD 检测模型中选择,证明 MetaOOD 显著优于现有方法,仅带来轻微的时间开销。我们的结果经 Wilcoxon 统计检验验证,MetaOOD 在包括既有 OOD 检测器和先进无监督选择方法在内的 11 个基线中均显著优于。

关键词

引用

@article{arxiv.2410.03074,
  title  = {MetaOOD: Automatic Selection of OOD Detection Models},
  author = {Yuehan Qin and Yichi Zhang and Yi Nian and Xueying Ding and Yue Zhao},
  journal= {arXiv preprint arXiv:2410.03074},
  year   = {2025}
}

备注

Best paper at 2024 KDD Workshop on Resource-Efficient Learning. Extended version at ICLR 2025