基于单张等距柱状投影图像且失真感知的自监督 360° 深度估计
计算机视觉与模式识别
2022-04-05 v1
摘要
近年来 360° 图像广泛可用。本文提出一种在开放环境下从单张 360° 图像进行深度预测的新技术。从 360° 单图预测深度并不容易，原因有二：一是监督数据集的局限——现有可用数据集仅限于室内场景；二是 360° 图像常用的等距柱状投影格式（ERP）所带来的坐标与失真问题。现有唯一方法使用立方体贴图投影生成六张透视图像，并借助运动图像的自监督学习进行透视深度预测以应对这些问题。与现有方法不同，我们直接使用 ERP 格式。我们提出了一种直接使用 ERP 的框架，通过对应关系的坐标转换与失真感知上采样模块来处理 ERP 相关问题，并将自监督学习方法扩展至开放环境。实验中，我们首先构建了一个用于评估的数据集，并定量评估了室外场景下的深度预测。结果表明其优于 SOTA 技术。
引用
@article{arxiv.2204.01027,
title = {Distortion-Aware Self-Supervised 360{\deg} Depth Estimation from A Single Equirectangular Projection Image},
author = {Yuya Hasegawa and Ikehata Satoshi and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2204.01027},
year = {2022}
}