基于多对多泼溅与空间选择性精修的视频帧插值

本工作中，我们首先提出一个全可微的多对多（M2M）泼溅框架以高效插值帧。给定帧对，我们估计多个双向光流，在融合重叠像素前直接将像素前向扭曲至期望时间步。如此，每个源像素渲染多个目标像素，且每个目标像素可由更大范围的视觉上下文合成，从而建立对不良伪影具有鲁棒性的多对多泼溅方案。对于每个输入帧对，M2M 在插值任意数量中间帧时具有极小的计算开销，因此实现快速多帧插值。然而，直接在强度域扭曲与融合像素对运动估计质量敏感，且可能受限于较弱的表示能力。为提高插值精度，我们进一步引入灵活的空间选择性精修（SSR）组件扩展出 M2M++ 框架，其允许在计算效率与插值质量间权衡。SSR 不精修整个插值帧，而仅在处理估计误差图指导下选取的困难区域，从而避免冗余计算。在多个基准数据集上的评估表明，我们的方法能够在保持具竞争力的视频插值质量的同时提升效率，并可按需调整使用更多或更少计算资源。