通过填充向量预测揭示时序视角合成中的遮挡重现区域
计算机视觉与模式识别
2021-10-19 v1
摘要
我们考虑时序视角合成问题，其目标是利用深度和相对相机运动信息从过去帧预测未来视频帧。与通过基于强度的填充来揭示遮挡重现区域不同，我们研究了一种填充向量的思想，即通过指向合成视图中未遮挡区域来进行填充。为利用相机运动产生的遮挡重现区域在填充时的结构，我们依赖两个重要线索：填充方向的时间相关性与深度。我们设计了一个学习框架，通过计算反映过去填充方向的时间先验以及归一化深度图作为网络输入来预测填充向量。除了 SceneNet RGB-D 数据集外，我们还在自建的大规模数据集上进行了大量实验以评估时序视角合成。我们的实验表明，与其他文献中的方法相比，我们的填充向量预测方法在定量与定性填充性能上均更优。
引用
@article{arxiv.2110.08805,
title = {Revealing Disocclusions in Temporal View Synthesis through Infilling Vector Prediction},
author = {Vijayalakshmi Kanchana and Nagabhushan Somraj and Suraj Yadwad and Rajiv Soundararajan},
journal= {arXiv preprint arXiv:2110.08805},
year = {2021}
}
备注
WACV 2022. https://nagabhushansn95.github.io/publications/2021/ivp.html