Imagine360：从视角锚点生成沉浸式 360 度视频的框架
计算机视觉与模式识别
2024-12-05 v1
摘要
360 度视频提供了超沉浸式的体验，允许观众从完整的 360 度视角探索动态场景。为实现更加用户友好和个性化的 360 度视频格式内容创建，我们寻求将标准的视角视频提升为 360 度等距视频。为此，我们引入 Imagine360，这是第一个从视频锚点生成高质量 360 度视频并拥有丰富且多样化运动模式的视角到 360 度视频生成框架。Imagine360 通过几项关键设计，从有限的 360 度视频数据中学习细粒度的球面视觉和运动模式。1）首先，我们采用双分支设计，包括视角和全景视频去噪分支，以提供 360 度视频生成的局部和全局约束，并在扩展的网络 360 度视频上微调运动模块和空间 LoRA 层。2）此外，设计了对抗掩码以捕获长程运动依赖，增强跨半球对抗像素之间的反向相机运动。3）为处理多样化的视角视频输入，我们提出了 elevation-aware 设计，以适应因帧率变化导致的不同视频掩码。大量实验表明，Imagine360 在多种最先进的 360 度视频生成方法中实现了卓越的图形质量和运动一致性。我们认为 Imagine360 有望推动个性化沉浸式 360 度视频创建。
引用
@article{arxiv.2412.03552,
title = {Imagine360: Immersive 360 Video Generation from Perspective Anchor},
author = {Jing Tan and Shuai Yang and Tong Wu and Jingwen He and Yuwei Guo and Ziwei Liu and Dahua Lin},
journal= {arXiv preprint arXiv:2412.03552},
year = {2024}
}
备注
Project page: https://ys-imtech.github.io/projects/Imagine360