通过归一化异常值分布自适应进行长尾分布的分布外检测
计算机视觉与模式识别
2024-11-26 v2
摘要
分布外（OOD）检测中的一个关键挑战是训练期间缺乏真实的 OOD 样本。解决此问题的一种原则性方法是使用来自外部数据集的样本作为异常值（即伪 OOD 样本）来训练 OOD 检测器。然而，我们根据经验发现，异常值样本通常与真实的 OOD 样本相比存在分布偏移，尤其是在长尾识别（LTR）场景中，即 ID 类别严重不平衡，真实的 OOD 样本相对于头部和尾部 ID 类别展现出与异常值截然不同的概率分布。在本工作中，我们提出了一种新方法，即归一化异常值分布自适应（AdaptOD），以解决这一分布偏移问题。其关键组件之一是动态异常值分布自适应，它利用推理过程中预测的 OOD 样本中的 OOD 知识，将基于异常值样本的原始异常值分布有效地自适应至真实的 OOD 分布。此外，为了在长尾 ID 数据上获得更可靠的预测 OOD 样本集，AdaptOD 中引入了一种新颖的双归一化能量损失，该损失利用类别和样本级别的归一化能量，在不平衡的 ID 样本上强制执行更平衡的预测能量。这有助于避免对头部样本的偏差，并在训练期间学习到比现有能量损失好得多的原始异常值分布。它还消除了在能量损失中手动调整敏感边际超参数的需要。在三个用于 LTR 中 OOD 检测的流行基准上的实证结果表明，AdaptOD 优于 state-of-the-art 方法。代码可在 https://github.com/mala-lab/AdaptOD 获取。
引用
@article{arxiv.2410.20807,
title = {Long-Tailed Out-of-Distribution Detection via Normalized Outlier Distribution Adaptation},
author = {Wenjun Miao and Guansong Pang and Jin Zheng and Xiao Bai},
journal= {arXiv preprint arXiv:2410.20807},
year = {2024}
}
备注
NeurIPS2024