使用高效亚像素卷积神经网络的实时单图像与视频超分辨率
计算机视觉与模式识别
2016-09-26 v2 机器学习
摘要
近期，数种基于深度神经网络的模型在单图像超分辨率的重建精度与计算性能方面均取得了巨大成功。在这些方法中，低分辨率（LR）输入图像在重建前先使用单一滤波器（通常为双三次插值）放大至高分辨率（HR）空间。这意味着超分辨率（SR）操作是在 HR 空间中执行的。我们证明这种做法是次优的且增加了计算复杂度。在本文中，我们提出了首个能够在单个 K2 GPU 上对 1080p 视频进行实时 SR 的卷积神经网络（CNN）。为此，我们提出了一种新颖的 CNN 架构，其中特征图在 LR 空间中提取。此外，我们引入了一个高效的亚像素卷积层，它学习一组放大滤波器，将最终的 LR 特征图放大为 HR 输出。通过这种方式，我们有效地用专门为各个特征图训练的更复杂的放大滤波器取代了 SR 流程中手工设计的双三次滤波器，同时降低了整体 SR 操作的计算复杂度。我们使用公开数据集中的图像与视频对所提方法进行了评估，结果表明其性能显著更优（图像上提升 +0.15dB，视频上提升 +0.39dB），且速度比先前基于 CNN 的方法快一个数量级。
引用
@article{arxiv.1609.05158,
title = {Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network},
author = {Wenzhe Shi and Jose Caballero and Ferenc Huszár and Johannes Totz and Andrew P. Aitken and Rob Bishop and Daniel Rueckert and Zehan Wang},
journal= {arXiv preprint arXiv:1609.05158},
year = {2016}
}
备注
CVPR 2016 paper with updated affiliations and supplemental material, fixed typo in equation 4