基于双表示的新型视角视频预测
计算机视觉与模式识别
2021-06-09 v1
摘要
我们解决了新型视角视频预测问题；给定来自单视角/多视角的一组输入视频片段，我们的网络能够预测来自新视角的视频。所提方法不需要任何先验，并且与近期预测视角微小变化的研究相比，能够预测视角角距更宽（高达45度）的视频。此外，我们的方法仅依赖RGB帧来学习双表示，该表示用于从新视角生成视频。双表示包含视角相关表示和全局表示，二者结合互补细节以实现新型视角视频预测。我们在两个真实世界数据集上展示了我们框架的有效性：NTU-RGB+D和CMU Panoptic。与最先进的新型视角视频预测方法相比，在不使用目标视角显式先验的情况下，我们的方法在SSIM上提升26.1%，在PSNR上提升13.6%，在FVD分数上提升60%。
引用
@article{arxiv.2106.03956,
title = {Novel View Video Prediction Using a Dual Representation},
author = {Sarah Shiraz and Krishna Regmi and Shruti Vyas and Yogesh S. Rawat and Mubarak Shah},
journal= {arXiv preprint arXiv:2106.03956},
year = {2021}
}
备注
Accepted in ICIP 2021