使用混合 CNN-Transformer 神经网络架构的 X 射线违禁物品检测
计算机视觉与模式识别
2025-05-02 v1
摘要
在 X 射线安全应用领域，即使是最微小的细节也会对结果产生重大影响。严重遮挡或故意隐藏的物品无论是通过人工观察还是先进的技术应用都构成了巨大的检测挑战。虽然某些深度学习（DL）架构在处理局部信息方面表现出色，例如卷积神经网络（CNN），但其他架构在处理远距离信息方面更具优势，例如 Transformer。在 X 射线安全成像领域，文献一直以基于 CNN 的方法为主，而上述两种领先架构的整合尚未得到充分探索。在本文中，我们将各种混合 CNN-Transformer 架构与一个共同的 CNN 物体检测基线，即 YOLOv8，进行了比较评估。具体而言，将 CNN（HGNetV2）和混合 CNN-Transformer（Next-ViT-S）骨干网络与不同的 CNN/Transformer 检测头（YOLOv8 和 RT-DETR）相结合。由此产生的架构在三个具有挑战性的公开 X 射线安检数据集，即 EDS、HiXray 和 PIDray 上进行了比较评估。有趣的是，虽然带有默认骨干网络（CSP-DarkNet53）的 YOLOv8 检测器在 HiXray 和 PIDray 数据集上通常表现出优势，但当 X 射线图像中引入领域分布偏移时（如 EDS 数据集的情况），混合 CNN-Transformer 架构展现出更强的鲁棒性。详细的比较评估结果（包括物体级别的检测性能和物体尺寸误差分析）展示了每种架构组合的优缺点，并为未来的研究提供了指导方针。本研究中使用的模型源代码和网络权重可在 https://github.com/jgenc/xray-comparative-evaluation 获取。
引用
@article{arxiv.2505.00564,
title = {X-ray illicit object detection using hybrid CNN-transformer neural network architectures},
author = {Jorgen Cani and Christos Diou and Spyridon Evangelatos and Panagiotis Radoglou-Grammatikis and Vasileios Argyriou and Panagiotis Sarigiannidis and Iraklis Varlamis and Georgios Th. Papadopoulos},
journal= {arXiv preprint arXiv:2505.00564},
year = {2025}
}