在 GANs 中学习调制变换
计算机视觉与模式识别
2023-08-30 v1
摘要
基于风格的生成器的成功很大程度上得益于风格调制，其有助于处理数据内的跨实例变化。然而，实例级随机性通常通过常规卷积引入，其中卷积核在固定位置与特征交互，限制了其建模几何变化的能力。为缓解该问题，我们为生成对抗网络（GANs）中的生成器配备了一个即插即用模块，称为调制变换模块（MTM）。该模块在潜码控制下预测空间偏移，基于此卷积操作可在不同实例的可变位置应用，从而为模型提供处理几何形变的额外自由度。大量实验表明，我们的方法可忠实泛化至各类生成任务，包括图像生成、3D 感知图像合成和视频生成，且无需任何超参数调整即可与最先进框架兼容。值得注意的是，在具有挑战性的 TaiChi 数据集上的人体生成任务中，我们将 StyleGAN3 的 FID 从 21.36 提升至 13.60，证明了学习调制几何变换的有效性。
引用
@article{arxiv.2308.15472,
title = {Learning Modulated Transformation in GANs},
author = {Ceyuan Yang and Qihang Zhang and Yinghao Xu and Jiapeng Zhu and Yujun Shen and Bo Dai},
journal= {arXiv preprint arXiv:2308.15472},
year = {2023}
}
备注
Technical report