通过 Fréchet 均值寻找 GAN 中的全局语义表示
计算机视觉与模式识别
2023-04-25 v2
摘要
GAN 中理想解耦的潜空间涉及带有语义属性坐标的潜空间全局表示。换言之，考虑到该解耦潜空间是一个向量空间，存在全局语义基，其中每个基分量描述生成图像的一个属性。在本文中，我们提出了一种无监督方法，用于在 GAN 的中间潜空间中寻找这一全局语义基。该语义基表示与样本无关的有意义扰动，这些扰动在整个潜空间上改变图像的同一语义属性。所提出的全局基称为 Fréchet 基，是通过将 Fréchet 均值引入潜空间中的局部语义扰动而导出的。Fréchet 基的发现分为两个阶段。首先，通过局部语义子空间所在的 Grassmann 流形上的 Fréchet 均值发现全局语义子空间。其次，通过特殊正交群上的 Fréchet 均值优化该语义子空间的基，从而找到 Fréchet 基。实验结果表明，与先前的方法相比，Fréchet 基提供了更好的语义因子分解和鲁棒性。此外，我们提出了针对先前方法的基细化方案。定量实验表明，在受限于先前方法给出的相同语义子空间时，细化后的基实现了更好的语义因子分解。
引用
@article{arxiv.2210.05509,
title = {Finding the global semantic representation in GAN through Frechet Mean},
author = {Jaewoong Choi and Geonho Hwang and Hyunsoo Cho and Myungjoo Kang},
journal= {arXiv preprint arXiv:2210.05509},
year = {2023}
}
备注
25 pages, 21 figures