LinkGAN：将 GAN 隐变量关联到像素以实现可控图像合成
计算机视觉与模式识别
2023-09-26 v2
摘要
本工作提出了一种易于使用的 GAN 训练正则化器，它有助于将隐空间的一些轴显式关联到合成图像中的一组像素。建立这样的联系便于对 GAN 生成进行更便捷的局部控制，用户仅需对隐码进行局部重采样，即可仅在某空间区域内改变图像内容。实验结果证实了我们的正则化器（称为 LinkGAN）的四个引人注目的性质。（1）隐变量-像素关联既可应用于固定区域（即对所有样本相同），也可应用于特定语义类别（即跨样本变化），如天空。（2）两个或多个区域可独立关联到不同隐变量轴，这进一步支持联合控制。（3）我们的正则化器能提升 2D 与 3D 感知 GAN 模型的空间可控性，且几乎不牺牲合成性能。（4）用我们的正则化器训练的模型兼容 GAN 反演技术，并在真实图像上保持可编辑性。
引用
@article{arxiv.2301.04604,
title = {LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis},
author = {Jiapeng Zhu and Ceyuan Yang and Yujun Shen and Zifan Shi and Bo Dai and Deli Zhao and Qifeng Chen},
journal= {arXiv preprint arXiv:2301.04604},
year = {2023}
}