基于张量的 StyleGAN 子空间分解方法
计算机视觉与模式识别
2021-11-09 v1
摘要
在本文中，我们提出 τGAN，一种基于张量的方法来建模生成模型的潜空间。其目标是识别潜空间中的语义方向。为此，我们提出在一个结构化的面部表情数据库上拟合一个多线性张量模型，该数据库最初被嵌入到潜空间中。我们在使用 BU-3DFE 作为结构化面部表情数据库、在 FFHQ 上训练的 StyleGAN 上验证我们的方法。我们展示了多线性张量模型的参数如何通过交替最小二乘（Alternating Least Squares）来近似。此外，我们引入了一种堆叠的风格分离张量模型，定义为风格特定模型的集成，以将我们的方法与 StyleGAN 的扩展潜空间相结合。我们表明，考虑扩展潜空间的个体风格可带来更高的模型灵活性和更低的重建误差。最后，我们进行了若干实验，将我们的方法与先前基于 GAN 和多线性模型的工作进行比较。具体而言，我们分析了表情子空间，发现表情轨迹汇聚于一张冷漠的脸，这与早期工作一致。我们还表明，通过改变人的姿态，我们方法生成的图像比两种竞争方法的结果更接近真实值。
引用
@article{arxiv.2111.04554,
title = {Tensor-based Subspace Factorization for StyleGAN},
author = {René Haas and Stella Graßhof and Sami Sebastian Brandt},
journal= {arXiv preprint arXiv:2111.04554},
year = {2021}
}
备注
Accepted for FG2021