平移、尺度与旋转：跨模态对齐遇见 RGB-红外车辆检测
计算机视觉与模式识别
2022-09-29 v1
摘要
近年来，在目标检测中融合多光谱数据，尤其是可见光与红外图像，受到了极大关注。由于可见光（RGB）与红外（IR）图像可提供互补信息以应对光照变化，成对图像被用于诸多领域，如多光谱行人检测、RGB-IR 人群计数与 RGB-IR 显著目标检测。与自然 RGB-IR 图像相比，我们发现航空 RGB-IR 图像中的检测受到跨模态弱未对齐问题的困扰，表现为同一物体位置、尺寸与角度的偏差。本文主要解决航空 RGB-IR 图像中跨模态弱未对齐的挑战。具体而言，我们首先解释并分析弱未对齐问题的成因。随后，我们提出平移-尺度-旋转对齐（TSRA）模块，通过校准来自这两种模态的特征图来解决该问题。该模块通过对齐过程预测两模态物体间的偏差，并利用模态选择（MS）策略提升对齐性能。最后，基于 TSRA 模块构建了双流特征对齐检测器（TSFADet）用于航空图像中的 RGB-IR 目标检测。在公开 DroneVehicle 数据集上的综合实验验证了我们的方法降低了跨模态未对齐的影响并取得了鲁棒的检测结果。
引用
@article{arxiv.2209.13801,
title = {Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection},
author = {Maoxun Yuan and Yinyan Wang and Xingxing Wei},
journal= {arXiv preprint arXiv:2209.13801},
year = {2022}
}