使用深度体素流的视频帧合成

我们解决在现有视频中合成新视频帧的问题，无论是在现有帧之间（插值）还是在其之后（外推）。该问题具有挑战性，因为视频外观与运动可能高度复杂。传统的基于光流的方法在流估计困难时常常失败，而较新的直接幻觉化像素值的基于神经网络的方法常产生模糊结果。我们通过训练一个深度网络来结合这两种方法的优势，该网络学习通过从现有帧流动像素值来合成视频帧，我们称之为深度体素流。我们的方法不需要人类监督，并且任何视频都可通过丢弃然后学习预测现有帧来用作训练数据。该技术高效，并可应用于任意视频分辨率。我们证明我们的方法在定量与定性上均产生优于最先进水平的结果。