中文

VidPanos:从随意 panning 视频生成全景视频

计算机视觉与模式识别 2024-10-29 v2 图形学

摘要

全景图像拼接提供一种超越摄像机视野范围的统一宽角视图。将 panning 视频的帧拼接成全景照片是静止场景下已为人所熟知的问题,但当场景中存在运动物体时,静态全景无法完整捕捉场景。我们提出一种方法,从随意拍摄的 panning 视频合成全景视频,仿佛使用广角摄像机拍摄。我们将全景合成建模为空间-时间填充问题,旨在创建与输入视频同长度的完整全景视频。实现空间-时间体积的一致填充需要强大且真实的视频内容与运动先验,而我们采用生成式视频模型。现有生成模型无法直接扩展到全景填充,我们表明必须将视频生成作为全景合成系统的组件,并展示如何充分利用模型优势,同时最小化其局限。我们的系统可为包括人物、车辆和流动水等野生场景,以及静止背景特征,创建视频全景。

关键词

引用

@article{arxiv.2410.13832,
  title  = {VidPanos: Generative Panoramic Videos from Casual Panning Videos},
  author = {Jingwei Ma and Erika Lu and Roni Paiss and Shiran Zada and Aleksander Holynski and Tali Dekel and Brian Curless and Michael Rubinstein and Forrester Cole},
  journal= {arXiv preprint arXiv:2410.13832},
  year   = {2024}
}

备注

Project page at https://vidpanos.github.io/. To appear at SIGGRAPH Asia 2024 (conference track)