基于增强可变形可分离卷积的多视频帧插值

从连续视频序列中生成不存在的帧一直是视频处理领域一个有趣且具有挑战性的问题。典型的基于核的插值方法通过单个卷积过程预测像素，该过程将源帧与空间自适应的局部核进行卷积，从而避免了以光流形式进行的耗时显式运动估计。然而，当场景运动大于预定义的核大小时，这些方法容易产生不太合理的结果。此外，它们无法直接生成任意时间位置的帧，因为学习到的核与输入帧之间的时间中点绑定。在本文中，我们试图解决这些问题，并提出了一种新颖的、非基于流的核方法，我们称之为增强可变形可分离卷积（EDSC），该方法不仅估计自适应核，还估计偏移、掩码和偏置，以使网络能够从非局部邻域获取信息。在学习过程中，通过扩展坐标卷积技巧，可以将不同的中间时间步作为控制变量引入，使得估计的分量能够随不同的输入时间信息而变化。这使得我们的方法能够生成多个中间帧。此外，我们研究了我们的方法与其他典型的基于核和基于流的方法之间的关系。实验结果表明，我们的方法在广泛的数据集上优于最先进的方法。代码将公开在URL：\url{https://github.com/Xianhang/EDSC-pytorch}。