瑞利特征方向(REDs)：用于多维特征操控的 GAN 潜空间遍历
计算机视觉与模式识别
2022-01-26 v1 图形学
机器学习
摘要
我们提出了一种在深度生成模型潜空间中寻找路径的方法，该方法能在保持其他图像特征不变的同时，使一组图像特征产生最大变化。关键在于，与以往的遍历方法不同，我们的方法可以操控图像的多维特征，如面部身份和指定区域内的像素。我们的方法原理严谨且概念简单：通过最大化一组特征的差分变化来选择最优遍历方向，同时使另一组特征的变化可忽略。我们证明该问题几乎等价于瑞利商最大化问题，并基于求解广义特征值方程给出了其闭式解。我们利用对应最优方向的重复计算（我们称之为瑞利特征方向(REDs)）来生成潜空间中适当弯曲的路径。我们使用 StyleGAN2 在人脸和客厅两个图像域上对我们的方法进行了实证评估。我们表明，我们的方法能够控制以往潜空间遍历方法范围之外的各种多维特征：人脸身份、空间频率带、区域内像素，以及物体的外观与位置。我们的工作表明，在潜空间几何与语义的局部分析方面存在着丰富的机会。
引用
@article{arxiv.2201.10423,
title = {Rayleigh EigenDirections (REDs): GAN latent space traversals for multidimensional features},
author = {Guha Balakrishnan and Raghudeep Gadde and Aleix Martinez and Pietro Perona},
journal= {arXiv preprint arXiv:2201.10423},
year = {2022}
}