CRF360D: 基于球面全连接 CRFs 的单目 360 深度估计
计算机视觉与模式识别
2024-05-21 v1
摘要
单目 360 深度估计因等距矩形投影 (ERP) 的固有畸变而具有挑战性。这种畸变导致球面相邻点在投影到 ERP 平面后被分离,尤其在极地区域。为解决此问题,近期方法计算切线域中的球面邻居。然而,由于切线补丁与球面仅有一个公共点,这些方法在该公共点周围构建邻近球面关系。在本文中,我们提出球面全连接 CRFs (SF-CRF)。我们首先将 ERP 图像均匀划分为规则窗口,其中赤道附近的窗口涉及更广泛的球面邻居,而极地附近的窗口则涉及较窄的球面邻居。为改善球面关系,我们的 SF-CRF 包含两个关键组件。首先,我们提出球面窗口转换 (SWT) 模块,旨在将赤道窗口的球面关系复制到所有其他窗口,利用球面的旋转不变性。值得注意的是,在 CPU 上处理 512×1024 的 ERP 图像的所有窗口变换仅需 0.038 秒。其次,我们提出平面-球面相互作用 (PSI) 模块,以便于规则窗口与转换后窗口之间的关系,既保留局部细节,又捕获全局结构。通过构建基于 SF-CRF 块的解码器,我们提出了 CRF360D,一个新的 360 深度估计框架,在多样化数据集上实现了最先进的性能。我们的 CRF360D 与不同视角图像训练的主干网络 (如 EfficientNet) 兼容,作为编码器使用。
引用
@article{arxiv.2405.11564,
title = {CRF360D: Monocular 360 Depth Estimation via Spherical Fully-Connected CRFs},
author = {Zidong Cao and Lin Wang},
journal= {arXiv preprint arXiv:2405.11564},
year = {2024}
}