基于任务导向流的图像视频增强
计算机视觉与模式识别
2019-11-12 v3
摘要
许多视频增强算法依赖光流来配准视频序列中的帧。然而精确的光流估计是难以处理的;并且对于特定的视频处理任务而言,光流本身往往是一种次优的表示。在本文中,我们提出任务导向流(TOFlow),一种以自监督、任务特定的方式学习的运动表示。我们设计了一个带有可训练运动估计组件和视频处理组件的神经网络,并联合训练它们以学习任务导向流。为进行评估,我们构建了Vimeo-90K,一个用于底层视频处理的大规模高质量视频数据集。在三个视频处理任务——帧插值、视频去噪/去块效应以及视频超分辨率中,TOFlow在标准基准测试以及我们的Vimeo-90K数据集上均优于传统光流。
引用
@article{arxiv.1711.09078,
title = {Video Enhancement with Task-Oriented Flow},
author = {Tianfan Xue and Baian Chen and Jiajun Wu and Donglai Wei and William T. Freeman},
journal= {arXiv preprint arXiv:1711.09078},
year = {2019}
}
备注
IJCV 2019. Project page: http://toflow.csail.mit.edu