一次性完成：基于先进运动建模的时间自适应多帧插值
计算机视觉与模式识别
2021-01-12 v2
摘要
高刷新率显示器的近期进展，以及对高倍慢动作和帧率上变换日益增加的兴趣，推动了对高效且低成本的多帧视频插值方案的需求。就此而言，在连续视频帧之间插入多帧对消费电子行业至关重要。现有最优方法为迭代式方案，一次插值一帧。它们会引入时间不一致性和明显可见的视觉伪影。不同于现有最优方法，本工作提出了一种真正的多帧插值器。它利用时间域中的金字塔式网络一次性完成多帧插值任务。还采用了一种使用松弛损失函数的新型光流估计过程，以及一种基于三次函数的先进运动模型，以在复杂运动片段出现时进一步提升插值精度。在Adobe240数据集上的结果表明，所提方法生成视觉愉悦、时间一致的帧，以8倍更小的模型和7.7倍更快的速度在PSNR上比当前最佳现成方法高出1.57dB。由于一次性机制，所提方法可轻松扩展至插值大量新帧且保持高效。
引用
@article{arxiv.2007.11762,
title = {All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling},
author = {Zhixiang Chi and Rasoul Mohammadi Nasiri and Zheng Liu and Juwei Lu and Jin Tang and Konstantinos N Plataniotis},
journal= {arXiv preprint arXiv:2007.11762},
year = {2021}
}
备注
Accepted at ECCV2020 (poster), project: https://chi-chi-zx.github.io/all-at-once/