StyleGAN-Human：以数据为中心的人体生成探索
计算机视觉与模式识别
2022-04-26 v1 机器学习
摘要
无条件人体图像生成是视觉与图形学中的重要任务，可赋能创意产业中的多种应用。该领域现有研究主要聚焦于“网络工程”，如设计新组件与目标函数。本工作采取以数据为中心的视角，探究“数据工程”中的多个关键方面，我们认为其可补充当前实践。为便于全面研究，我们收集并标注了一个大规模人体图像数据集，包含超过 23 万样本，涵盖多样姿态与纹理。借助该大数据集，我们严格探究了基于 StyleGAN 的人体生成中数据工程的三个基本因素，即数据规模、数据分布与数据对齐。大量实验揭示了关于这些方面的若干有价值观察：1）需要超过 4 万张图像的大规模数据，才能用原始 StyleGAN 训练高保真无条件人体生成模型。2）与长尾分布相比，均衡训练集有助于提升罕见面部姿态的生成质量，而简单均衡服装纹理分布并不能有效带来改进。3）以身体中心为对齐锚的人体 GAN 模型优于以面部中心或骨盆点为对齐锚训练的模型。此外，我们展示了模型库与人脸编辑应用，以促进社区未来研究。
引用
@article{arxiv.2204.11823,
title = {StyleGAN-Human: A Data-Centric Odyssey of Human Generation},
author = {Jianglin Fu and Shikai Li and Yuming Jiang and Kwan-Yee Lin and Chen Qian and Chen Change Loy and Wayne Wu and Ziwei Liu},
journal= {arXiv preprint arXiv:2204.11823},
year = {2022}
}
备注
Technical Report. Project page: https://stylegan-human.github.io/ Code and models: https://github.com/stylegan-human/StyleGAN-Human/