通过深度空间特征变换恢复图像超分辨率中的真实纹理
计算机视觉与模式识别
2018-04-10 v1
摘要
尽管卷积神经网络（CNN）近期在单图像超分辨率（SR）中展现出高质量重建能力，恢复自然且真实的纹理仍是一个具有挑战性的问题。本文中，我们表明恢复忠实于语义类别的纹理是可能的。具体而言，我们仅需在单一网络中以语义分割概率图为条件对少数中间层的特征进行调制。这通过一种新颖的空间特征变换（SFT）层得以实现，该层为空间级特征调制生成仿射变换参数。SFT 层可与 SR 网络使用相同损失函数端到端联合训练。测试时，它接受任意大小的输入图像，并仅通过一次前向传播基于类别先验生成高分辨率图像。我们的最终结果表明，配备 SFT 的 SR 网络相比当前最优的 SRGAN 与 EnhanceNet 能生成更真实且视觉上更令人满意的纹理。
引用
@article{arxiv.1804.02815,
title = {Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform},
author = {Xintao Wang and Ke Yu and Chao Dong and Chen Change Loy},
journal= {arXiv preprint arXiv:1804.02815},
year = {2018}
}
备注
This work is accepted in CVPR 2018. Our project page is http://mmlab.ie.cuhk.edu.hk/projects/SFTGAN/