用于RGB-热成像显著目标检测的镜像互补Transformer网络
计算机视觉与模式识别
2022-07-11 v1
摘要
RGB-热成像显著目标检测（RGB-T SOD）旨在定位一对对齐的可见光与热红外图像中共同的显著目标，并精确分割属于这些目标的所有像素。由于热图像对光照条件不敏感，该方法在夜间和复杂背景等挑战性场景中颇具前景。因此，RGB-T SOD的关键问题在于使来自两种模态的特征互补并灵活相互调整，因为在极端光照条件和热交叉等挑战性场景中，RGB-T图像对的任一模态失效是不可避免的。本文提出一种新颖的用于RGB-T SOD的镜像互补Transformer网络（MCNet）。具体而言，我们引入基于Transformer的特征提取模块，以有效提取RGB与热图像的分层特征。随后，通过基于注意力的特征交互模块和基于串行多尺度空洞卷积（SDC）的特征融合模块，所提模型实现了低级特征的互补交互与深层特征的语义融合。最后，基于镜像互补结构，即便某一模态失效，也能准确提取两种模态的显著区域。为验证所提模型在真实世界挑战性场景下的鲁棒性，我们基于自动驾驶领域使用的一个大型公开语义分割RGB-T数据集构建了新颖的RGB-T SOD数据集VT723。在基准数据集与VT723数据集上的大量实验表明，所提方法优于包括基于CNN和基于Transformer的方法在内的当前最优方法。代码与数据集稍后将于 https://github.com/jxr326/SwinMCNet 发布。
引用
@article{arxiv.2207.03558,
title = {Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection},
author = {Xiurong Jiang and Lin Zhu and Yifan Hou and Hui Tian},
journal= {arXiv preprint arXiv:2207.03558},
year = {2022}
}