热成像在RGB-T显著性目标检测中真的始终重要吗？
计算机视觉与模式识别
2022-10-11 v1
摘要
近年来，RGB-T显著性目标检测（SOD）持续受到关注，其通过引入热图像使得在低光照等环境下识别显著物体成为可能。然而，现有大多数RGB-T SOD模型聚焦于如何进行跨模态特征融合，忽略了热图像在SOD任务中是否真的始终重要。本文从该任务的定义与本质出发，重新思考热模态的内涵，并提出一种名为TNet的网络来解决RGB-T SOD任务。在本文中，我们引入全局光照估计模块来预测图像的全局光照分数，从而调节两种模态所起的作用。此外，考虑到热模态的作用，我们在编码阶段和解码阶段设置了不同的跨模态交互机制。一方面，我们在编码阶段引入语义约束提供器以丰富热图像的语义，使热模态更适用于SOD任务；另一方面，我们在解码阶段引入两阶段定位与补全模块，将热特征中的物体定位线索与内部完整性线索迁移至RGB模态。在三个数据集上的大量实验表明，所提出的TNet与20种最先进方法相比取得了具有竞争力的性能。
引用
@article{arxiv.2210.04266,
title = {Does Thermal Really Always Matter for RGB-T Salient Object Detection?},
author = {Runmin Cong and Kepu Zhang and Chen Zhang and Feng Zheng and Yao Zhao and Qingming Huang and Sam Kwong},
journal= {arXiv preprint arXiv:2210.04266},
year = {2022}
}
备注
Accepted by IEEE Trans. Multimedia 2022, 13 pages, 9 figures