Transposer：以特征图作为转置卷积滤波器的通用纹理合成
计算机视觉与模式识别
2020-07-15 v1 图形学
摘要
传统的用于纹理合成的 CNN 由一系列（反）卷积和上/下采样层组成，其中每层局部操作且缺乏捕获纹理合成所需的长期结构依赖的能力。因此，它们常常只是放大输入纹理，而非进行合理的合成。作为折衷，许多近期方法通过在相同或固定的一组纹理图像上训练和测试来牺牲泛化性，导致对未见图像的巨大重训练时间成本。在本工作中，基于传统纹理合成中的拼接操作类似于转置卷积操作的发现，我们提出了一种使用转置卷积操作的新方式。具体而言，我们直接将输入纹理的整个编码特征图作为转置卷积滤波器，并将捕获自相关信息的特征自相似图作为转置卷积的输入。这样的设计使得我们的框架一旦训练好，便可泛化到以近乎实时的单次前向传播对未见纹理进行合成。我们的方法基于各种指标达到了最先进的纹理合成质量。虽然自相似性有助于保留输入纹理的规则结构模式，我们的框架也可采用随机噪声图作为不规则输入纹理的转置卷积输入，以替代自相似图。它允许获得更多样的结果，并通过在单次传播中直接采样大型噪声图来生成任意大的纹理输出。
引用
@article{arxiv.2007.07243,
title = {Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter},
author = {Guilin Liu and Rohan Taori and Ting-Chun Wang and Zhiding Yu and Shiqiu Liu and Fitsum A. Reda and Karan Sapra and Andrew Tao and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2007.07243},
year = {2020}
}