显著目标检测、深度估计与轮廓提取的联合学习
计算机视觉与模式识别
2022-12-14 v2
摘要
得益于深度图所具有的颜色独立性、光照不变性和位置区分性，它可以为在复杂环境中提取显著目标提供重要的补充信息。然而，高质量的深度传感器价格昂贵且无法广泛应用。而普通深度传感器会产生噪声大且稀疏的深度信息，这给基于深度的网络带来了不可逆的干扰。在本文中，我们提出了一种用于 RGB-D 显著目标检测（SOD）的新型多任务多模态滤波 Transformer（MMFT）网络。具体而言，我们统一了三个互补任务：深度估计、显著目标检测和轮廓估计。多任务机制促使模型从辅助任务中学习任务感知特征。通过这种方式，深度信息可以被补全和净化。此外，我们引入了一个多模态滤波 Transformer（MFT）模块，该模块配备了三个特定模态的滤波器，为每种模态生成 Transformer 增强的特征。所提出的模型在测试阶段以无深度的方式工作。实验表明，它不仅在多个数据集上显著超越了基于深度的 RGB-D SOD 方法，而且同时精确预测了高质量的深度图和显著轮廓。并且，所得的深度图可以帮助现有的 RGB-D SOD 方法获得显著的性能提升。源代码将公开于 https://github.com/Xiaoqi-Zhao-DLUT/MMFT。
引用
@article{arxiv.2203.04895,
title = {Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction},
author = {Xiaoqi Zhao and Youwei Pang and Lihe Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2203.04895},
year = {2022}
}
备注
Accepted by IEEE TIP