BridgeNet：一种深度图超分辨率与单目深度估计联合学习网络
计算机视觉与模式识别
2021-07-28 v1
摘要
深度图超分辨率在工业中具有高实际应用需求。现有的颜色引导深度图超分辨率方法通常需要一个额外分支从 RGB 图像提取高频细节信息以引导低分辨率深度图重构。然而，由于两种模态间仍存在差异，在特征维度或边缘图维度上的直接信息传输无法取得满意结果，甚至可能在 RGB-D 对结构不一致的区域引发纹理复制。受多任务学习启发，我们提出了一种无需引入额外监督标签的深度图超分辨率（DSR）与单目深度估计（MDE）联合学习网络。针对两个子网络的交互，我们采用差异化引导策略并对应设计两座桥。其一为面向特征编码过程的高频注意力桥（HABdg），它学习 MDE 任务的高频信息以引导 DSR 任务。其二为面向深度图重构过程的内容引导桥（CGBdg），它为 MDE 任务提供从 DSR 任务学习到的内容引导。整个网络架构具有高度可移植性，可为关联 DSR 与 MDE 任务提供范式。在基准数据集上的大量实验表明，我们的方法取得了具竞争力的性能。我们的代码和模型见 https://rmcong.github.io/proj_BridgeNet.html。
引用
@article{arxiv.2107.12541,
title = {BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation},
author = {Qi Tang and Runmin Cong and Ronghui Sheng and Lingzhi He and Dan Zhang and Yao Zhao and Sam Kwong},
journal= {arXiv preprint arXiv:2107.12541},
year = {2021}
}
备注
10 pages, 7 figures, Accepted by ACM MM 2021