ODE-CNN: 全向深度扩展网络
计算机视觉与模式识别
2020-07-06 v1
摘要
全向360°相机在自主机器人中迅速普及，因为它通过扩大视场角(FoV)显著增强了感知能力。然而，对于感知系统同样关键的相应360°深度传感器仍然难以获得或价格昂贵。在本文中，我们提出了一种低成本3D传感系统，该系统将全向相机与校准的投影深度相机相结合，其中来自有限FoV的深度可以自动扩展到记录的整个全向图像。为了准确恢复缺失的深度，我们设计了一个全向深度扩展卷积神经网络(ODE-CNN)，其中在特征编码层末端嵌入了一个球形特征变换层(SFTL)，并在特征解码层末端附加了一个可变形卷积空间传播网络(D-CSPN)。前者将全向坐标中每个像素的邻域重采样到投影坐标，降低了特征学习的难度；后者自动找到合适的上下文，通过CNN相对于参考图像很好地对齐估计深度中的结构，显著提高了视觉质量。最后，我们在流行的360D数据集上展示了所提出的ODE-CNN的有效性，并表明ODE-CNN显著优于其他最先进(SoTA)方法（深度误差相对减少33%）。
引用
@article{arxiv.2007.01475,
title = {ODE-CNN: Omnidirectional Depth Extension Networks},
author = {Xinjing Cheng and Peng Wang and Yanqi Zhou and Chenye Guan and Ruigang Yang},
journal= {arXiv preprint arXiv:2007.01475},
year = {2020}
}
备注
Accepted by ICRA 2020, 7 pages, 5 figures