一体化：RGB、RGB-D 与 RGB-T 显著性目标检测
计算机视觉与模式识别
2023-11-28 v1
摘要
显著性目标检测（SOD）旨在识别图像中最具吸引力的目标。根据所检测数据的类型，SOD 可分为多种形式，包括 RGB、RGB-D（深度）、RGB-T（热红外）以及光场 SOD。以往研究集中于单一数据类型的显著性检测。若强制使用 RGB-D SOD 模型检测 RGB-T 数据，其性能将大幅下降。我们提出了一种创新模型框架，为三类数据（RGB、RGB-D 和 RGB-T）的显著性目标检测任务提供统一解决方案。三类数据可在同一模型（一体化）中以相同权重参数进行处理。在该框架中，三类数据在单个输入批次内以有序方式拼接，并使用 transformer 网络提取特征。基于此框架，我们提出了一种高效的轻量级 SOD 模型，即 AiOSOD，其能够以高速度检测任意 RGB、RGB-D 和 RGB-T 数据（RGB 数据 780FPS，RGB-D 或 RGB-T 数据 485FPS）。值得注意的是，AiOSOD 仅含 6.25M 参数，便在 RGB、RGB-D 和 RGB-T 数据集上取得了优异性能。
引用
@article{arxiv.2311.14746,
title = {All in One: RGB, RGB-D, and RGB-T Salient Object Detection},
author = {Xingzhao Jia and Zhongqiu Zhao and Changlei Dongye and Zhao Zhang},
journal= {arXiv preprint arXiv:2311.14746},
year = {2023}
}