深度感知的视频帧插值

视频帧插值旨在合成原始帧之间不存在的帧。尽管近期的深度卷积神经网络取得了显著进展，但由于较大的物体运动或遮挡，插值质量常常下降。在本工作中，我们提出一种通过利用深度信息显式检测遮挡的视频帧插值方法。具体而言，我们设计了一个深度感知的光流投影层，以合成优先采样较近物体而非较远物体的中间光流。此外，我们学习分层特征以从相邻像素收集上下文信息。所提出的模型随后基于光流和局部插值核变形输入帧、深度图与上下文特征，以合成输出帧。我们的模型紧凑、高效且完全可微。定量与定性结果表明，在多种数据集上，所提模型相较最先进的帧插值方法表现更优。