Many-to-many Splatting for Efficient Video Frame Interpolation

基于运动的视频帧插值通常依赖光流将像素从输入帧扭曲到所需的插值时刻。然而，由于运动估计的固有挑战（例如遮挡和不连续性），大多数最先进的插值方法需要对扭曲结果进行后续细化以生成令人满意的输出，这大大降低了多帧插值的效率。在这项工作中，我们提出了一个完全可微的多对多（M2M）泼溅框架来高效地插值帧。具体来说，给定一对帧，我们估计多个双向流，直接将像素向前扭曲到所需的时间步长，然后融合任何重叠的像素。通过这样做，每个源像素渲染多个目标像素，并且每个目标像素可以从更大范围的视觉上下文中合成。这建立了一个对诸如空洞等伪影具有鲁棒性的多对多泼溅方案。此外，对于每对输入帧，M2M仅执行一次运动估计，并且在插值任意数量的中间帧时具有极小的计算开销，从而实现快速的多帧插值。我们进行了广泛的实验来分析M2M，发现它在保持高有效性的同时显著提高了效率。