基于样本混合的方法：利用基础模型实现高效分布外检测
计算机视觉与模式识别
2025-08-26 v6 机器学习
摘要
在为图像分类任务训练的深度神经网络中，早期发现的弱点之一是它们无法对与训练所用分布内（ID）数据显著不同的分布外（OOD）数据给出低置信度预测。表征学习通过特定方式训练神经网络以提升其检测 OOD 样本的能力，已成为一种有前景的解决方案。然而，这些方法需要较长训练时间，并会增加检测 OOD 样本的开销。近期 Vision Transformer（ViT）基础模型——采用自监督方法在大规模多样数据集上训练的大型网络——在 OOD 检测中也展现出强劲性能，并有望应对上述挑战。本文提出样本混合（Mixture of Exemplars, MoLAR），一种高效的 OOD 检测应对方法，旨在最大化利用高质量、冻结的预训练基础模型骨干训练分类器的收益。MoLAR 在仅将 OOD 样本与样本（exemplars，一组选作数据集代表的少量图像）进行相似度比较时，即可提供强劲的 OOD 检测性能，相较于那些在使用完整 ID 数据集时才能达到最佳性能的方法，显著降低了 OOD 检测推理开销。大量实验表明，在有监督与半监督设定下，MoLAR 的 OOD 检测性能均优于同类方法，代码见 github.com/emannix/molar-mixture-of-exemplars。
引用
@article{arxiv.2311.17093,
title = {A Mixture of Exemplars Approach for Efficient Out-of-Distribution Detection with Foundation Models},
author = {Evelyn Mannix and Howard Bondell},
journal= {arXiv preprint arXiv:2311.17093},
year = {2025}
}