OmniZoomer:学习在球面上高分辨率地移动与缩放
计算机视觉与模式识别
2023-08-22 v2 人工智能
摘要
全景图像(ODIs)日益流行,因其大视场(FoV)可为观众在虚拟现实等沉浸式环境中自由选择视向提供机会。Möbius 变换通常被用来进一步提供对 ODIs 进行移动与缩放的可能,但将其应用于图像层面常导致模糊效应与混叠问题。本文提出一种基于深度学习的新方法,称为 \textbf{OmniZoomer},将 Möbius 变换引入网络以实现 ODIs 上的移动与缩放。通过学习不同条件下的多种变换特征图,网络被增强以处理增大的边缘曲率,从而缓解模糊效应。此外,为解决混叠问题,我们提出两个关键组件。首先,为补偿描述曲线所需像素的不足,我们在高分辨率(HR)空间中增强特征图,并利用空间索引生成模块计算变换索引图。其次,考虑到 ODIs 本质表征于球面空间,我们提出球面重采样模块,其结合索引图与 HR 特征图来变换特征图以获得更好的球面相关性。变换后的特征图被解码以输出缩放后的 ODI。实验表明,我们的方法能生成高分辨率且高质量的 ODIs,并可灵活移动与缩放至感兴趣物体。项目页面见 http://vlislab22.github.io/OmniZoomer/。
引用
@article{arxiv.2308.08114,
title = {OmniZoomer: Learning to Move and Zoom in on Sphere at High-Resolution},
author = {Zidong Cao and Hao Ai and Yan-Pei Cao and Ying Shan and Xiaohu Qie and Lin Wang},
journal= {arXiv preprint arXiv:2308.08114},
year = {2023}
}
备注
Accepted by ICCV 2023