通过标度化预训练表征实现无需微调的标签-free 离群检测
机器学习
2026-05-08 v1
摘要
使用深度学习训练的模型常常无法信号输入超出训练数据流形的情况，导致在分布迁移下预测不可靠。先前工作表明，有效的离群-分布 (OOD) 检测通常需要类条件建模或通过监督微调获得的专用模型。我们重新审视这一假设，考察现代预训练模型，发现其冻结表征已经编码足够的几何结构，用于准确的标签-free OOD 检测。我们在涵盖视觉和语言的 59 种 backbone-task 组合中，对比两种互补的标签-free 检测器：一个在无标记潜在表征上拟合的全局马哈拉诺斯估计器，以及 ReSCOPED，这是一种轻量级、基于扩散的典型性估计器，作用于相同特征的局部层面。尽管这两种检测器机制不同，但表征规模化揭示了一致的模式依赖于规模的结果：无论是局部还是全局检测器的绝对性能随表征质量的提升而提高，两种检测器之间的性能差距在表征规模化后在语言和视觉任务中消失。这些结果表明，标签-free OOD 检测高度依赖于冻结预训练 backbone 所暴露的几何结构，随着 backbone 规模增加，检测器选择的重要性降低，可直接在冻结模型上部署。
引用
@article{arxiv.2605.05638,
title = {Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning},
author = {Brett Barkley and Preston Culbertson and David Fridovich-Keil},
journal= {arXiv preprint arXiv:2605.05638},
year = {2026}
}