面向稳健的 OOD 检测的自由能漏洞消除
计算机视觉与模式识别
2024-12-03 v1
摘要
现代机器学习模型在计算机视觉任务如分类和目标检测中表现卓越，但对于 Out-of-Distribution(OOD)样本往往过于自信，导致在开放环境中行为不可预测。近期研究表明，自由能量得分是衡量 OOD 检测不确定性的有效指标，其与数据分布密切相关。然而，尽管基于自由能量的方法在 OOD 检测方面取得了显著的实证进展，但我们的理论分析揭示了自由能量得分公式中存在先前未探讨且内在的漏洞，使得 in-distribution 和 OOD 实例可以拥有不同的特征表示却具有相同的自由能量得分。这种现象发生在 when the vector direction representing the feature space difference between the in-distribution and OOD sample lies within the last layer of a neural-based classifier 的空旷空间时。为缓解此问题，我们探索更低维的特征空间以缩小空旇空间的范围，并引入新的正则化以最大化最终线性层的最小奇异值，从而增强样本间的自由能量分离。我们将这些技术称为用于稳健 OOD 检测的自由能漏洞消除(FEVER-OOD)。我们的实验表明，FEVER-OOD 技术在 ImageNet-100 上实现了 OOD 检测的现代水平，当与基线 Dream-OOD 模型搭配使用时，平均 OOD 假正率(在 95% 真正率下)为 35.83%。
引用
@article{arxiv.2412.01596,
title = {FEVER-OOD: Free Energy Vulnerability Elimination for Robust Out-of-Distribution Detection},
author = {Brian K. S. Isaac-Medina and Mauricio Che and Yona F. A. Gaus and Samet Akcay and Toby P. Breckon},
journal= {arXiv preprint arXiv:2412.01596},
year = {2024}
}
备注
18 pages, 15 figures, 4 tables