无时间先验的视频帧插值
计算机视觉与模式识别
2021-12-03 v1
摘要
视频帧插值旨在合成视频序列中不存在的中间帧，是计算机视觉中的重要研究课题。现有视频帧插值方法在特定假设（如瞬时或已知曝光时间）下取得了显著成果。然而，在复杂的真实世界场景中，视频的时间先验（即每秒帧数（FPS）与帧曝光时间）可能因不同相机传感器而异。当测试视频的曝光设置与训练时不同时，插值帧将遭受显著的对齐错误。在本工作中，我们解决一般情形下的视频帧插值问题，其中输入帧可在不确定曝光（及间隔）时间下获取。与以往仅适用于特定时间先验的方法不同，我们从四张连续清晰帧或两张连续模糊帧中推导出不依赖时间先验的通用曲线运动轨迹公式。此外，利用相邻运动轨迹内的约束，我们设计了一种新颖的光流细化策略以获得更好的插值结果。最后，实验表明，一个训练良好的模型足以在复杂真实世界情形下合成高质量慢动作视频。代码见 https://github.com/yjzhang96/UTI-VFI。
引用
@article{arxiv.2112.01161,
title = {Video Frame Interpolation without Temporal Priors},
author = {Youjian Zhang and Chaoyue Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2112.01161},
year = {2021}
}
备注
Accepted by Neural Information Processing Systems (NeurIPS) 2020