WarpedGANSpace：在GAN潜空间中寻找非线性RBF路径
计算机视觉与模式识别
2021-09-29 v1
摘要
本工作解决了以无监督方式在预训练GAN的潜空间中发现可解释路径的问题，从而提供控制底层生成因子的直观且简便的方法。在此过程中，它解决了最先进工作的一些局限，即 a) 它们发现的与潜代码无关的方向，即线性路径，以及 b) 它们的评估依赖于视觉检查或费力的人工标注。更具体地，我们提出在潜空间上学习非线性扭曲，每个扭曲由一组基于RBF的潜空间扭曲函数参数化，并且每个扭曲通过该函数的梯度产生一族非线性路径。基于发现线性路径的Voynov和Babenko的工作，我们优化该组RBF的可训练参数，使得沿不同路径的代码生成的图像能被判别网络轻易区分。这导致了易区分的图像变换，如人脸图像中的姿态和面部表情。我们展示了线性路径可作为我们方法的特例导出，并实验表明潜空间中的非线性路径在定性及定量上比最先进方法导致图像空间中更陡峭、更解耦且可解释的变化。我们将代码和预训练模型公开于：https://github.com/chi0tzp/WarpedGANSpace。
引用
@article{arxiv.2109.13357,
title = {WarpedGANSpace: Finding non-linear RBF paths in GAN latent space},
author = {Christos Tzelepis and Georgios Tzimiropoulos and Ioannis Patras},
journal= {arXiv preprint arXiv:2109.13357},
year = {2021}
}
备注
Accepted for publication in ICCV 2021