GH-Feat：从 GAN 中学习通用的生成式层次特征
计算机视觉与模式识别
2023-01-16 v1
摘要
近年来，生成对抗网络（GAN）在合成逼真图像方面取得了巨大成功。GAN 生成器学习组合真实图像并复现真实数据分布。在此过程中，具有多层次语义的层次化视觉特征自发涌现。本工作探究了这种从图像合成中学习到的生成式特征在解决广泛计算机视觉任务（包括生成式任务以及更重要的判别式任务）中的巨大潜力。我们首先将预训练的 StyleGAN 生成器视为一个学习到的损失函数来训练一个编码器。该编码器产生的视觉特征，称为生成式层次特征（GH-Feat），与逐层的 GAN 表征高度对齐，因而能从重建角度充分描述输入图像。大量实验证明了 GH-Feat 在一系列应用中的通用可迁移性，如图像编辑、图像处理、图像协调、人脸验证、关键点检测、布局预测、图像检索等。我们进一步表明，通过适当的空间扩展，我们开发的 GH-Feat 还能仅用少量标注促进细粒度语义分割。定性和定量结果均展示了 GH-Feat 的出色性能。
引用
@article{arxiv.2301.05315,
title = {GH-Feat: Learning Versatile Generative Hierarchical Features from GANs},
author = {Yinghao Xu and Yujun Shen and Jiapeng Zhu and Ceyuan Yang and Bolei Zhou},
journal= {arXiv preprint arXiv:2301.05315},
year = {2023}
}
备注
Accepted by TPAMI 2022. arXiv admin note: text overlap with arXiv:2007.10379