面向未配准RGB-热成像行人检测的交叉模态提议引导特征挖掘
计算机视觉与模式识别
2023-08-24 v1
摘要
RGB-热成像（RGB-T）行人检测旨在定位RGB-T图像对中的行人，以利用两模态间的互补性提升极端条件下的检测鲁棒性。大多数现有算法假设RGB-T图像对已良好配准，而现实中由于相机视差或视场不同，它们并未理想对齐。未对齐图像对中的行人可能位于两幅图像的不同位置，这带来两个挑战：1）如何利用空间未对齐的RGB-T行人块实现模态间互补；2）如何识别边界处未配对的行人。为应对这些问题，我们提出一种用于未配准RGB-T行人检测的新范式，其分别预测RGB与热成像图像中两个独立的行人位置。具体而言，我们提出交叉模态提议引导特征挖掘（CPFM）机制，以提取两个精确融合特征来表征两模态中的行人，即便RGB-T图像对未对齐。它使我们能有效利用两模态间的互补性。借助CPFM机制，我们构建了一个双流密集检测器；其基于CPFM机制挖掘的相应融合特征预测两模态中的两个行人位置。此外，我们设计了一种称为Homography的数据增强方法，以模拟图像间尺度与视角差异。我们还研究了两种用于后处理的非极大值抑制（NMS）方法。有利的的实验结果证明了我们的方法在处理具不同偏移的未配准行人时的有效性与鲁棒性。
引用
@article{arxiv.2308.12111,
title = {Cross-Modality Proposal-guided Feature Mining for Unregistered RGB-Thermal Pedestrian Detection},
author = {Chao Tian and Zikun Zhou and Yuqing Huang and Gaojun Li and Zhenyu He},
journal= {arXiv preprint arXiv:2308.12111},
year = {2023}
}