通过深度与浅层卷积网络实现端到端图像超分辨率
计算机视觉与模式识别
2016-07-27 v1
摘要
卷积神经网络 (CNN) 的一个显著优势是能够自动从原始像素中学习特征表示，从而消除了对手工设计过程的需求。然而，最近的单图像超分辨率 (SR) 方法未能保持这一优势。它们将 CNN 用于两个解耦的步骤：首先使用手工设计的技术（例如双三次插值）将低分辨率 (LR) 图像上采样至高分辨率 (HR) 尺寸，然后在上采样的 LR 图像上应用 CNN 以重建 HR 结果。在本文中，我们寻求一种替代方案并提出了一种新的图像 SR 方法，该方法联合学习特征提取、上采样和 HR 重建模块，产生一个完全端到端可训练的深层 CNN。与现有方法相反，所提出的方法在潜在特征空间中进行上采样，使用的滤波器是针对图像 SR 任务优化的。此外，HR 重建以多尺度方式执行，以同时结合短程和长程上下文信息，确保更准确地恢复 HR 图像。为了促进网络训练，我们设计了一种新的训练方法，将所提出的深度网络与一个相对浅层的网络联合训练，从而实现更快的收敛和更优越的性能。所提出的方法在广泛采用的数据集上进行了广泛评估，并以相当大的幅度提升了最先进 (SOTA) 方法的性能。此外，我们还进行了深入的消融研究，以验证不同网络设计对图像 SR 的贡献，为未来研究提供额外见解。
引用
@article{arxiv.1607.07680,
title = {End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks},
author = {Yifan Wang and Lijun Wang and Hongyu Wang and Peihua Li},
journal= {arXiv preprint arXiv:1607.07680},
year = {2016}
}