JNMR：面向视频帧插值的联合非线性运动回归
计算机视觉与模式识别
2023-09-12 v3
摘要
视频帧插值（VFI）旨在通过从双向历史参考中扭曲可学习运动来生成预测帧。大多数现有工作利用时空语义信息提取器来实现运动估计与插值建模。然而，它们对生成的中间运动的真实机理合理性考虑不足。本文中，我们将 VFI 重新表述为一种联合非线性运动回归（JNMR）策略，以建模帧间的复杂运动。具体而言，目标帧与多个参考帧之间的运动轨迹由多阶段二次模型的时间串联回归得到。采用 ConvLSTM 在时间维度上构建完整运动的联合分布。此外，设计了特征学习网络以优化联合回归建模。还构建了一个由粗到细的合成增强模块，通过重复回归与插值在不同分辨率下学习视觉动态。VFI 上的实验结果表明，与 SOTA 方法相比，联合运动回归的有效性与显著提升。代码见 https://github.com/ruhig6/JNMR。
引用
@article{arxiv.2206.04231,
title = {JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation},
author = {Meiqin Liu and Chenming Xu and Chao Yao and Chunyu Lin and Yao Zhao},
journal= {arXiv preprint arXiv:2206.04231},
year = {2023}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP)