超越视频帧插值器：一种面向连续图像过渡的空间解耦学习方法
计算机视觉与模式识别
2022-03-21 v1
摘要
视频帧插值（VFI）旨在提高视频序列的时间分辨率。现有大多数基于深度学习的 VFI 方法采用现成光流算法估计双向流并相应插值缺失帧。尽管已取得巨大成功，这些方法仍需大量人工经验来调整双向流，且当估计流不准确时常常产生不悦目的结果。本工作中，我们重新思考 VFI 问题并将其表述为连续图像过渡（CIT）任务，其关键问题是将图像从一个空间连续地过渡至另一空间。更具体地，我们学习将图像隐式解耦为可平移流空间与不可平移特征空间。前者刻画给定图像间的可平移状态，后者旨在重建无法直接平移的中间特征。以此方式，我们可轻松在流空间执行图像插值，在特征空间进行中间图像合成，从而得到 CIT 模型。所提出的空间解耦学习（SDL）方法实现简单，同时为超越 VFI 的多种 CIT 问题（如风格迁移与图像变形）提供了有效框架。我们在多种 CIT 任务上的大量实验证明了 SDL 相对于现有方法的优越性。源代码与模型见 \url{https://github.com/yangxy/SDL}。
引用
@article{arxiv.2203.09771,
title = {Beyond a Video Frame Interpolator: A Space Decoupled Learning Approach to Continuous Image Transition},
author = {Tao Yang and Peiran Ren and Xuansong Xie and Xiansheng Hua and Lei Zhang},
journal= {arXiv preprint arXiv:2203.09771},
year = {2022}
}