中文

基于场景对称性从单张普通视场图像生成球面图像

计算机视觉与模式识别 2020-01-10 v1 机器学习 图像与视频处理

摘要

全方向(360 度)拍摄的球面图像能够表征主体周边环境与空间本身,为观看者提供沉浸式体验。从单张普通视场(NFOV)图像生成球面图像十分便捷且大幅拓展使用场景,因为无需使用特定全景相机或从多方向拍摄;然而这仍是一个具挑战性且未解决的问题。主要挑战在于控制生成包含目标合理球面图像全方向的广阔区域时所涉及的高自由度。另一方面,场景对称性是球面图像全局结构的基本属性,如旋转对称、平面对称与非对称。我们提出一种从单张 NFOV 图像生成球面图像的方法,并利用场景对称性控制生成区域的自由度。我们将场景对称性参数作为潜变量纳入条件变分自编码器,随后学习 NFOV 图像与场景对称性条件下球面图像的条件概率。此外,概率密度函数由神经网络表示,场景对称性通过隐变量的循环移位与翻转实现。我们的实验表明,所提方法能生成从对称到非对称可控的多种合理球面图像。

关键词

引用

@article{arxiv.2001.02993,
  title  = {Spherical Image Generation from a Single Normal Field of View Image by Considering Scene Symmetry},
  author = {Takayuki Hara and Tatsuya Harada},
  journal= {arXiv preprint arXiv:2001.02993},
  year   = {2020}
}

备注

15 pages