UniFuse：用于360°全景深度估计的单向融合
计算机视觉与模式识别
2021-05-28 v2 机器人学
摘要
从球面全景学习深度正成为热门研究课题，因为全景具有环境的全视场并对场景提供相对完整的描述。然而，将针对透视图像充分研究的CNN应用于球面全景的标准表示(即等距柱状投影)是次优的，因其在两极附近发生畸变。另一种表示是立方体贴图投影，其无畸变但边缘不连续且视场受限。本文引入一个新框架来融合两种投影的特征，仅在解码阶段将立方体贴图特征单向馈送至等距柱状特征。与近期在编码和解码阶段均操作的双向融合方法不同，我们的融合方案更高效。此外，我们还为融合方案设计了更有效的融合模块。实验验证了所提融合策略和模块的有效性，我们的模型在四个流行数据集上达到最先进性能。额外实验表明我们的模型还具有模型复杂度和泛化能力的优势。代码见https://github.com/alibaba/UniFuse-Unidirectional-Fusion。
引用
@article{arxiv.2102.03550,
title = {UniFuse: Unidirectional Fusion for 360$^{\circ}$ Panorama Depth Estimation},
author = {Hualie Jiang and Zhe Sheng and Siyu Zhu and Zilong Dong and Rui Huang},
journal= {arXiv preprint arXiv:2102.03550},
year = {2021}
}
备注
IEEE Robotics and Automation Letters and ICRA 2021; Demo: https://youtu.be/9vm9OMksvrc; Code: https://github.com/alibaba/UniFuse-Unidirectional-Fusion