免对齐 RGBT 显著目标检测：语义引导的非对称相关网络与统一基准
计算机视觉与模式识别
2024-06-04 v1
摘要
RGB 和热红外（RGBT）显著目标检测旨在通过利用可见光和热红外图像对的互补信息来实现高质量的显著性预测，这些图像对最初是以未对齐的方式捕获的。然而，现有方法是针对手动对齐的图像对设计的，这需要大量人工，并且将这些方法直接应用于原始未对齐的图像对会显著降低其性能。在本文中，我们首次尝试解决针对初始捕获的、未经手动对齐的 RGB 和热红外图像对的 RGBT SOD 问题。具体来说，我们提出了一个语义引导的非对称相关网络（SACNet），它包含两个新颖的组件：1）一个非对称相关模块，利用语义引导的注意力来模拟针对未对齐显著区域的跨模态相关性；2）一个关联特征采样模块，根据相应的 RGB 特征采样相关的热红外特征，用于多模态特征融合。此外，我们构建了一个名为 UVT2000 的统一基准数据集，包含直接从各种真实世界场景中捕获的 2000 个 RGB 和热红外图像对，未经过任何对齐，以促进免对齐 RGBT SOD 的研究。在对齐和未对齐数据集上的大量实验证明了我们方法的有效性和优越性能。数据集和代码可在 https://github.com/Angknpng/SACNet 获取。
引用
@article{arxiv.2406.00917,
title = {Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark},
author = {Kunpeng Wang and Danying Lin and Chenglong Li and Zhengzheng Tu and Bin Luo},
journal= {arXiv preprint arXiv:2406.00917},
year = {2024}
}
备注
Accepted by TMM 2024