CI-Net：用于联合语义分割与深度估计的上下文信息网络
计算机视觉与模式识别
2021-09-02 v2
摘要
单目深度估计与语义分割是场景理解的两个基本目标。由于任务交互的优势，许多工作研究联合任务学习算法。然而，大多数现有方法未能充分利用语义标签，忽略所提供的上下文结构，仅将其用于监督分割的预测，限制了两个任务的性能。本文提出一种注入上下文信息的网络（CI-Net）来解决该问题。具体而言，我们在编码器中引入自注意力模块以生成注意力图。在由语义标签构建的理想注意力图监督下，网络嵌入上下文信息，从而更好地理解场景并利用相关特征进行准确预测。此外，构建了特征共享模块以深度融合任务特定特征，并设计了一致性损失使特征相互引导。我们在 NYU-Depth-v2 和 SUN-RGBD 数据集上评估所提出的 CI-Net。实验结果验证了我们的 CI-Net 能有效提升语义分割与深度估计的精度。
引用
@article{arxiv.2107.13800,
title = {CI-Net: Contextual Information for Joint Semantic Segmentation and Depth Estimation},
author = {Tianxiao Gao and Wu Wei and Zhongbin Cai and Zhun Fan and Shane Xie and Xinmei Wang and Qiuda Yu},
journal= {arXiv preprint arXiv:2107.13800},
year = {2021}
}
备注
27 pages, 10 figures