强化开放词汇目标检测器的 X-ray 视觉能力
计算机视觉与模式识别
2025-10-29 v2
摘要
开放词汇目标检测(OvOD)旨在通过使系统能够识别 X射线扫描中任何物品，来 revolutionize 安检。然而，开发针对 X-ray 成像的有效 OvOD 模型 presents unique 挑战，主要由于数据稀缺以及模态差距，阻止直接采用基于 RGB 的解决方案。为克服这些限制，我们提出 RAXO，一个无训练框架，可重用现有的 RGB OvOD 检测器实现稳健的 X-ray 检测。RAXO 采用双源检索策略构建高质量的 X-ray 类别描述符。它从网络上收集相关 RGB 图像，并通过一种新颖的 X-ray 材料迁移机制对其进行丰富，从而无需标记数据库。这些视觉描述符取代 OvOD 中的基于文本的分类，利用类间特征距离实现稳健检测。广泛的实验表明，RAXO 一致地显著提升了 OvOD 性能，平均 mAP 提升最高可达 17.0 分。为进一步支持这一新兴领域的研究，我们还引入 DET-COMPASS，一个包含 300 多个物品类别的带边界框注释的新基准，使 OvOD 在 X-ray 中的大规模评估成为可能。代码和数据集已公开：https://github.com/PAGF188/RAXO。
引用
@article{arxiv.2503.17071,
title = {Superpowering Open-Vocabulary Object Detectors for X-ray Vision},
author = {Pablo Garcia-Fernandez and Lorenzo Vaquero and Mingxuan Liu and Feng Xue and Daniel Cores and Nicu Sebe and Manuel Mucientes and Elisa Ricci},
journal= {arXiv preprint arXiv:2503.17071},
year = {2025}
}
备注
Accepted at ICCV 2025