TANet：基于Transformer的非对称网络用于RGB-D显著性目标检测
计算机视觉与模式识别
2022-07-05 v1
摘要
现有的RGB-D显著性目标检测（SOD）方法主要依赖基于CNN的对称双流网络分别提取RGB和深度通道特征。然而，对称的传统网络结构存在两个问题：第一，CNN学习全局上下文的能力有限；第二，对称双流结构忽略了模态之间的固有差异。本文中，我们提出一种基于Transformer的非对称网络（TANet）来解决上述问题。我们利用Transformer（PVTv2）强大的特征提取能力从RGB数据中提取全局语义信息，并设计了一个轻量CNN骨干（LWDepthNet）从深度数据中提取空间结构信息而无需预训练。非对称混合编码器（AHE）在保持性能不损失的同时有效减少了模型参数量并提升了速度。然后，我们设计了一个跨模态特征融合模块（CMFFM），相互增强并融合RGB与深度特征。最后，我们将边缘预测作为辅助任务，并提出边缘增强模块（EEM）以生成更清晰的轮廓。大量实验表明，我们的方法在六个公开数据集上优于14种最先进的RGB-D方法。我们的代码将发布于 https://github.com/lc012463/TANet。
引用
@article{arxiv.2207.01172,
title = {TANet: Transformer-based Asymmetric Network for RGB-D Salient Object Detection},
author = {Chang Liu and Gang Yang and Shuo Wang and Hangxu Wang and Yunhua Zhang and Yutao Wang},
journal= {arXiv preprint arXiv:2207.01172},
year = {2022}
}