GramGAN：基于二维样本的深度三维纹理合成
计算机视觉与模式识别
2020-07-01 v2 图形学
摘要
我们提出了一种新颖的纹理合成框架，给定一张二维样本图像即可生成无限、高质量的三维纹理。受近期自然纹理合成进展的启发，我们训练深度神经网络模型，通过非线性组合学习到的噪声频率来生成纹理。为实现以样本块为条件的高真实感输出，我们提出了一种结合风格迁移与生成对抗网络（GAN）思想的新型损失函数。具体而言，我们训练合成网络以匹配来自判别器网络的深度特征的 Gram 矩阵。此外，我们提出了两种架构概念与一种外推策略，显著提升了泛化性能。特别地，我们通过学习缩放与偏置隐藏层激活，将模型输入与条件同时注入隐藏网络层。在多样化样本上的定量与定性评估印证了我们的设计决策，并表明我们的系统优于先前的最优方法（SOTA）。最后，我们开展了一项用户研究，证实了该框架的优势。
引用
@article{arxiv.2006.16112,
title = {GramGAN: Deep 3D Texture Synthesis From 2D Exemplars},
author = {Tiziano Portenier and Siavash Bigdeli and Orcun Goksel},
journal= {arXiv preprint arXiv:2006.16112},
year = {2020}
}