StyleGAN 中潜空间的分层语义正则化

GAN 的进展已实现高质量高分辨率照片级真实感图像的生成。StyleGAN 通过对 W/W+ 空间中的潜风格向量进行数学运算，有效调制生成器的丰富分层表示，从而实现对这类图像引人注目的属性修改。此类运算在原始 StyleGAN 论文中近期已被推广到包含插值，超越单纯的属性交换。尽管 StyleGAN 有许多显著改进，仍可见其生成不自然图像。生成图像的质量依赖于两个假设：（a）生成器学到的分层表示的丰富性，以及（b）风格空间的线性与平滑性。在这项工作中，我们提出一种分层语义正则化器（HSR），它将生成器学到的分层表示与在大量数据上预训练网络学到的相应强大特征对齐。HSR 被证明不仅改善生成器表示，还改善潜风格空间的线性与平滑性，从而生成更自然的风格编辑图像。为展示改进的线性，我们提出一种新指标——属性线性分数（ALS）。在不自然图像生成上的显著减少由感知路径长度（PPL）指标在不同标准数据集上平均提升 16.19% 所佐证，同时改善了属性编辑任务中属性变化的线性。