RUNA：基于多模态表征区域不确定性对齐的对象级离群检测
计算机视觉与模式识别
2025-03-31 v1
摘要
使目标检测器能够识别离群（OOD）对象对于构建可靠系统至关重要。这一主要障碍源于模型经常不会来自不熟悉数据的监督信号，导致对 OOD 对象的预测过于自信。尽管先前的进步基于检测模型和 in-distribution（ID）样本估计 OOD 不确定性，但我们探索使用预训练的视觉-语言表征进行对象级 OOD 检测。我们首先讨论将基于 CLIP 的图像级 OOD 检测方法应用于对象级情景的局限性。基于这些见解，我们提出了一种新框架 RUNA，利用双编码器架构捕获丰富的上下文信息，并采用区域不确定性对齐机制有效区分 ID 和 OOD 对象。我们引入一种 few-shot 微调方法，将区域级语义表征对齐，以进一步提高模型区分相似对象的能力。我们的实验表明，RUNA 在对象级 OOD 检测中显著优于最先进的方法，尤其在面对多样且复杂对象实例的挑战性情景时效果更为突出。
引用
@article{arxiv.2503.22285,
title = {RUNA: Object-level Out-of-Distribution Detection via Regional Uncertainty Alignment of Multimodal Representations},
author = {Bin Zhang and Jinggang Chen and Xiaoyang Qu and Guokuan Li and Kai Lu and Jiguang Wan and Jing Xiao and Jianzong Wang},
journal= {arXiv preprint arXiv:2503.22285},
year = {2025}
}
备注
9 pages, 5 figures