基于异步输入的 3D 视频循环
计算机视觉与模式识别
2023-03-22 v2 图形学
摘要
循环视频是可以无缝无限循环且无明显接缝或伪影的短视频片段。它们提供了一种极具吸引力的方式来捕捉自然场景的动态性。现有方法大多局限于 2D 表示。在本文中，我们向前迈进一步，提出了一种实用方案，可在动态 3D 循环场景上实现沉浸式体验。关键挑战在于从异步输入考虑逐视角循环条件，同时保持 3D 表示的视角一致性。我们提出了一种新颖的稀疏 3D 视频表示，即多块视频（Multi-Tile Video, MTV），它不仅提供视角一致的先验，还大幅降低内存占用，使 4D 体素的优化可行。随后，我们引入一个两阶段流水线，从完全异步、无时间重叠的多视角视频构建 3D 循环 MTV。在优化过程中采用基于视频时间重定标算法的新型循环损失来实现 3D 场景循环。我们框架的实验已显示出成功生成并实时渲染照片级真实感 3D 循环视频的潜力，即使在移动设备上亦可。代码、数据集和在线演示可在 https://limacv.github.io/VideoLoop3D_web/ 获取。
引用
@article{arxiv.2303.05312,
title = {3D Video Loops from Asynchronous Input},
author = {Li Ma and Xiaoyu Li and Jing Liao and Pedro V. Sander},
journal= {arXiv preprint arXiv:2303.05312},
year = {2023}
}
备注
For more information, please visit the homepage at https://limacv.github.io/VideoLoop3D_web/