无监督 OmniMVS：通过构建伪立体监督实现高效全向深度推断
计算机视觉与模式识别
2023-02-23 v2
摘要
全向多视图立体（MVS）视觉因其超宽视场（FoV）而具吸引力，使机器能够感知 360{\\deg} 3D 周围环境。然而，现有方案需要昂贵的密集深度标签用于监督，使其在真实应用中不切实际。本文提出首个基于多张鱼眼图像的无监督全向 MVS 框架。为此，我们将所有图像投影至虚拟视点中心，并由两对背靠背鱼眼图像合成两张具有球面几何的全景图像。这两张 360{\\deg} 图像构成具有特殊位姿的立体对，并利用光度一致性建立无监督约束，我们称之为“伪立体监督”。此外，我们提出 Un-OmniMVS，一种高效的无监督全向 MVS 网络，通过两个高效组件提升推断速度。首先，提出一种带频率注意力的新颖特征提取器，以同时捕获非局部傅里叶特征与局部空间特征，显式地促进特征表示。随后，提出基于方差的轻量代价体以降低计算复杂度。实验表明，我们的无监督方案性能可与最先进（SoTA）有监督方法竞争，并在真实数据上具有更好的泛化性。
引用
@article{arxiv.2302.09922,
title = {Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision},
author = {Zisong Chen and Chunyu Lin and Lang Nie and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2302.09922},
year = {2023}
}