用于视频帧插值的Softmax Splatting

以反向扭曲形式出现的可微图像采样已在深度估计与光流预测等任务中被广泛采用。相比之下，如何执行前向扭曲受到的关注较少，部分原因是存在额外挑战，例如以可微方式解决多个像素映射到同一目标位置的冲突。我们提出softmax splatting以应对这一范式转变，并展示了其在帧插值应用中的有效性。具体而言，给定两帧输入，我们基于光流估计使用softmax splatting将帧及其特征金字塔表示前向扭曲。在此过程中，softmax splatting无缝处理多个源像素映射到同一目标位置的情况。随后我们使用合成网络从扭曲后的表示预测插值结果。我们的softmax splatting不仅允许我们在任意时刻插值帧，还允许微调特征金字塔与光流。我们表明，由softmax splatting赋能的合成方法在视频帧插值上取得了新的SOTA结果。