面向大倍率绘画超分辨率的纹理幻构
图像与视频处理
2020-07-31 v4 计算机视觉与模式识别
摘要
我们旨在对数字绘画进行超分辨率重建，从高分参考绘画素材中合成逼真细节以用于非常大的缩放倍率（如 8X、16X）。然而，已有的单图像超分辨率（SISR）方法要么丢失纹理细节，要么引入令人不适的伪影。另一方面，基于参考的超分辨率（Ref-SR）方法能在一定程度上迁移纹理，但仍不实用以处理非常大倍率并保持与原始输入的保真度。为解决这些问题，我们提出了一种用于非常大缩放倍率的高效高分辨率幻构网络，具有高效网络结构与特征迁移。为迁移更细致纹理，我们设计了一种小波纹理损失，有助于增强更多高频分量。同时，为减轻图像重建损失带来的平滑效应，我们进一步用退化损失放宽重建约束，以确保下采样后的超分辨率结果与低分辨率输入间的一致性。我们还采集了一个高分辨率（如 4K 分辨率）绘画数据集 PaintHD，兼顾物理尺寸与图像分辨率。我们通过在 PaintHD 上与 SISR 及 Ref-SR 的 SOTA 方法比较的广泛实验展示了我们方法的有效性。
引用
@article{arxiv.1912.00515,
title = {Texture Hallucination for Large-Factor Painting Super-Resolution},
author = {Yulun Zhang and Zhifei Zhang and Stephen DiVerdi and Zhaowen Wang and Jose Echevarria and Yun Fu},
journal= {arXiv preprint arXiv:1912.00515},
year = {2020}
}
备注
Accepted to ECCV 2020. Supplementary material contains more visual results and is available at http://yulunzhang.com/papers/PaintingSR_supp_arXiv.pdf