基于多平面视差与非均匀坐标的立体视频隐式视角-时间插值
计算机视觉与模式识别
2023-03-31 v1 图形学
摘要
本文提出了一种用于立体视频视角-时间插值的方法。具体而言，我们基于 X-Fields 构建，该方法利用卷积解码器在输入坐标与 2D RGB 图像之间近似出可插值的映射。我们的主要贡献是分析并识别将 X-Fields 应用于本任务时的问题来源，并提出克服这些挑战的新技术。具体地，我们观察到 X-Fields 难以对大基线相机的视差进行隐式插值。因此，我们提出多平面视差以减小立体视图中物体的空间距离。此外，我们提出非均匀时间坐标来处理视频中的非线性和突发运动尖峰。我们还引入了若干简单但重要的对 X-Fields 的改进。我们证明，我们的方法能够产生优于当前最优（SOTA）的结果，同时以接近实时的速率运行，并具有较低的内存与存储开销。
引用
@article{arxiv.2303.17181,
title = {Implicit View-Time Interpolation of Stereo Videos using Multi-Plane Disparities and Non-Uniform Coordinates},
author = {Avinash Paliwal and Andrii Tsarov and Nima Khademi Kalantari},
journal= {arXiv preprint arXiv:2303.17181},
year = {2023}
}
备注
Accepted to CVPR 2023. Project page at https://people.engr.tamu.edu/nimak/Papers/CVPR23StereoVideo/index.html and video at https://www.youtube.com/watch?v=XJa_bf8OCrc