${S}^{2}$Net：球面上的精确全景深度估计
计算机视觉与模式识别
2023-01-18 v1 图形学
机器人学
摘要
单目深度估计是一个具有歧义性的问题，因此全局结构线索在当前数据驱动的单视图深度估计方法中起着重要作用。全景图像利用等距柱面投影捕获周围环境的完整空间信息，这引入了较大的畸变。这要求深度估计方法能够处理畸变并从图像中提取全局上下文信息。在本文中，我们提出了一种用于在单位球面上进行单目全景深度估计的端到端深度网络。具体而言，我们将从等距柱面图像中提取的特征图投影到由均匀分布网格采样的单位球面上，其中解码器网络可以聚合来自畸变减小后的特征图的信息。同时，我们提出了一个基于全局交叉注意力的融合模块，以融合来自跳跃连接的特征图，并增强获取全局上下文的能力。在五个全景深度估计数据集上进行了实验，结果表明所提出的方法显著优于先前的 state-of-the-art 方法。所有相关代码将在近期开源。
引用
@article{arxiv.2301.05845,
title = {${S}^{2}$Net: Accurate Panorama Depth Estimation on Spherical Surface},
author = {Meng Li and Senbo Wang and Weihao Yuan and Weichao Shen and Zhe Sheng and Zilong Dong},
journal= {arXiv preprint arXiv:2301.05845},
year = {2023}
}
备注
Accepted by IEEE Robotics and Automation Letters