修复噪声：解耦源特征用于 StyleGAN 的迁移学习
计算机视觉与模式识别
2023-03-23 v3 人工智能
机器学习
摘要
StyleGAN 的迁移学习近来在解决多样化任务（尤其是域翻译）方面展现出巨大潜力。先前方法在迁移学习中通过替换或冻结权重来利用源模型，但其在视觉质量与控制源特征方面存在局限。换言之，它们需要额外的计算密集型模型，且控制步骤受限，无法平滑过渡。在本文中，我们提出一种新方法来克服这些局限。不同于替换或冻结，我们引入简单的特征匹配损失以改善生成质量。此外，为控制源特征的程度，我们用所提策略 FixNoise 训练目标模型，以仅在目标特征空间的去耦子空间中保留源特征。得益于去耦特征空间，我们的方法可在单一模型中平滑控制源特征的程度。大量实验表明，所提方法能比以往工作生成更一致且更真实的图像。
引用
@article{arxiv.2204.14079,
title = {Fix the Noise: Disentangling Source Feature for Transfer Learning of StyleGAN},
author = {Dongyeun Lee and Jae Young Lee and Doyeon Kim and Jaehyun Choi and Junmo Kim},
journal= {arXiv preprint arXiv:2204.14079},
year = {2023}
}
备注
Full CVPR 2023 paper is available at arXiv:2303.11545. Best paper of CVPRW AICC 2022 (CVPR 2022 Workshop on AI for Content Creation). The code is available at https://github.com/LeeDongYeun/FixNoise