学习纹理 Transformer 网络用于图像超分辨率
计算机视觉与模式识别
2020-06-23 v2
摘要
我们研究图像超分辨率（SR），其旨在从低分辨率（LR）图像中恢复逼真纹理。近期进展通过取高分辨率图像作为参考（Ref），从而将相关纹理迁移至 LR 图像。然而，现有 SR 方法忽视使用注意力机制从 Ref 图像迁移高分辨率（HR）纹理，这在困难情形下限制了这些方法。本文中，我们提出一种新颖的用于图像超分辨率的纹理 Transformer 网络（TTSR），其中 LR 与 Ref 图像分别被构造为 transformer 中的查询与键。TTSR 由四个为图像生成任务优化的紧密关联模块组成，包括基于 DNN 的可学习纹理提取器、相关性嵌入模块、用于纹理迁移的硬注意力模块，以及用于纹理合成的软注意力模块。此类设计促进了 LR 与 Ref 图像间的联合特征学习，其中深度特征对应可由注意力发现，从而可迁移准确纹理特征。所提纹理 transformer 可进一步以跨尺度方式堆叠，从而实现从不同层级（例如从 1x 到 4x 放大）的纹理恢复。大量实验表明，TTSR 在定量与定性评价上均相较最先进方法取得显著改进。
引用
@article{arxiv.2006.04139,
title = {Learning Texture Transformer Network for Image Super-Resolution},
author = {Fuzhi Yang and Huan Yang and Jianlong Fu and Hongtao Lu and Baining Guo},
journal= {arXiv preprint arXiv:2006.04139},
year = {2020}
}
备注
Accepted by CVPR 2020