AdaCoF：用于视频帧插值的自适应光流协作
计算机视觉与模式识别
2020-03-10 v3
摘要
视频帧插值是视频处理研究中最具挑战性的任务之一。近期，许多基于深度学习的方法被提出。这些方法大多侧重于利用各自的帧扭曲操作，寻找包含有用信息的位置来估计每个输出像素。然而，其中许多方法存在自由度限制，无法处理真实世界视频中存在的复杂运动。为解决这一问题，我们提出了一种名为自适应光流协作的新型扭曲模块。我们的方法为每个目标像素估计核权重和偏移向量，以合成输出帧。与其他方法相比，AdaCoF 是最通用的扭曲模块之一，并将大多数方法作为其特例涵盖在内。因此，它能够处理范围极广的复杂运动。为了进一步完善我们的框架并合成更逼真的输出，我们引入了双帧对抗损失，该损失仅适用于视频帧插值任务。实验结果表明，无论是在固定的训练集环境下还是在 Middlebury 基准测试中，我们的方法均优于现有方法。
引用
@article{arxiv.1907.10244,
title = {AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation},
author = {Hyeongmin Lee and Taeoh Kim and Tae-young Chung and Daehyun Pak and Yuseok Ban and Sangyoun Lee},
journal= {arXiv preprint arXiv:1907.10244},
year = {2020}
}
备注
CVPR 2020