基于图像引导与卷积神经网络的光流超分辨率
计算机视觉与模式识别
2018-09-05 v1
摘要
用于光流估计的卷积神经网络模型通常输出低分辨率(LR)光流场。为获得相应的全图像分辨率，插值与变分方法是最常见的选择，但它们不能有效改善结果。受各类卷积神经网络(CNN)结构在单图像超分辨率(SISR)任务中成功的启发，本文提出一种端到端卷积神经网络，利用光流估计中所用的第一帧作为引导，从初始LR光流重建高分辨率(HR)光流场。我们的光流超分辨率(OFSR)问题与一般SISR问题有两个主要不同。首先，光流比图像包含更少的纹理信息，因此SISR的CNN结构不能直接用于我们的OFSR问题。其次，初始LR光流数据包含估计误差，而用于SISR的LR图像数据通常是HR真值的双三次下采样、模糊及带噪版本。我们在两种不同光流估计方法上评估了所提方法，表明其不仅能获得全图像分辨率，而且能生成比原始方法估计结果更准确、边缘更锐利的光流场（在FlyingChairs上精度提升15%，在MPI Sintel上提升13%）。
引用
@article{arxiv.1809.00588,
title = {Optical Flow Super-Resolution Based on Image Guidence Using Convolutional Neural Network},
author = {Liping Zhang and Zongqing Lu and Qingmin Liao},
journal= {arXiv preprint arXiv:1809.00588},
year = {2018}
}
备注
20 pages,7 figures