用于 RGB-热红外显著目标检测的多交互双解码器
计算机视觉与模式识别
2021-07-07 v3
摘要
RGB-热红外显著目标检测（SOD）旨在分割可见光图像与对应热红外图像中的共同显著区域，我们称之为 RGBT SOD。现有方法未充分挖掘和利用不同模态的互补性以及图像内容的多类型线索，而这在获得准确结果中起着至关重要的作用。本文中，我们提出一种多交互双解码器来挖掘和建模多类型交互，以实现准确的 RGBT SOD。具体而言，我们首先将两种模态编码为多层级多模态特征表示。然后，我们设计了一种新颖的双解码器来实施多层级特征、两种模态与全局上下文之间的交互。借助这些交互，我们的方法即使在存在无效模态的多样挑战性场景中也表现良好。最后，我们在公开 RGBT 和 RGBD SOD 数据集上进行了大量实验，结果表明所提方法相较于最先进算法取得了优异性能。源代码已发布于：https://github.com/lz118/Multi-interactive-Dual-decoder。
引用
@article{arxiv.2005.02315,
title = {Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection},
author = {Zhengzheng Tu and Zhun Li and Chenglong Li and Yang Lang and Jin Tang},
journal= {arXiv preprint arXiv:2005.02315},
year = {2021}
}
备注
Accepted by IEEE TIP