OmniSyn：利用宽基线全景图合成 360 视频
计算机视觉与模式识别
2022-02-23 v2 图形学
摘要
Google 街景和 Bing Streetside 等沉浸式地图以海量全景图集合提供逼真视图。然而，这些全景图仅沿采集路径以稀疏间隔提供，导致导航过程中出现视觉不连续。已有的视图合成研究通常建立在透视图像集、立体图像对或单目图像之上，却极少考察宽基线全景图——后者被商业平台广泛采用以优化带宽与存储占用。本文利用宽基线全景图的独特性质，提出 OmniSyn，一种在宽基线全景图之间合成 360{\deg} 视图的新颖流程。OmniSyn 使用球面代价体与单目跳跃连接预测全向深度图，在 360{\deg} 图像中渲染网格，并通过融合网络合成中间视图。我们通过包括与 CARLA 和 Matterport 数据集上最先进方法对比、消融研究以及街景泛化研究在内的综合实验结果展示了 OmniSyn 的有效性。我们期望本工作能启发针对这一被忽视的真实世界任务的未来研究，并最终为沉浸式地图导航带来更平滑的体验。
引用
@article{arxiv.2202.08752,
title = {OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas},
author = {David Li and Yinda Zhang and Christian Häne and Danhang Tang and Amitabh Varshney and Ruofei Du},
journal= {arXiv preprint arXiv:2202.08752},
year = {2022}
}
备注
Updated related works