SC2GAN：通过自校正相关GAN空间重新思考解耦问题
计算机视觉与模式识别
2023-10-11 v1 机器学习
摘要
生成对抗网络（GANs）能够合成逼真图像，其学到的潜空间被证明以各种可解释方向编码了丰富的语义信息。然而，由于所学潜空间的非结构化本质，它继承了训练数据中的偏差，其中无因果关联的特定视觉属性组倾向于共同出现，这一现象也被称为虚假关联，例如年龄与眼镜、女性与口红。因此，所学分布往往缺乏对缺失样本的恰当建模。沿某一属性的编辑方向进行插值时，可能导致与其他属性的纠缠变化。为解决此问题，以往工作通常调整所学方向以最小化其他属性的变化，但在强相关特征上仍告失败。本工作中，我们研究了StyleGAN2-FFHQ模型中训练数据与所学潜空间的纠缠问题。我们提出一种新颖框架SCGAN，通过对原始潜空间中低密度潜码样本进行重投影，并基于高密度与低密度区域校正编辑方向，从而实现解耦。通过利用原始有意义方向及语义区域特定层，我们的框架对原始潜码进行插值以生成属性组合罕见出现的图像，再将这些样本反演回原始潜空间。我们将框架应用于学习有意义潜方向已有方法，展示了其以少量低密度区域样本实现属性解耦的强能力。
引用
@article{arxiv.2310.06667,
title = {SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space},
author = {Zikun Chen and Han Zhao and Parham Aarabi and Ruowei Jiang},
journal= {arXiv preprint arXiv:2310.06667},
year = {2023}
}
备注
Accepted to the Out Of Distribution Generalization in Computer Vision workshop at ICCV2023