UnitedHuman：利用多源数据实现高分辨率人体生成
计算机视觉与模式识别
2023-09-26 v1 人工智能
机器学习
摘要
人体生成已取得显著进展。然而，现有方法仍难以合成人脸和手等特定区域。我们认为主要原因源于训练数据。整体人体数据集在局部部位上不可避免地存在信息不足和分辨率低的问题。因此，我们提出使用具有不同分辨率图像的多源数据集联合学习高分辨率人体生成模型。然而，多源数据固有地 a) 包含空间上未对齐为连贯人体的不同部位，以及 b) 具有不同尺度。为应对这些挑战，我们提出了一个端到端框架 UnitedHuman，赋予连续 GAN 有效利用多源数据进行高分辨率人体生成的能力。具体而言，1) 我们设计了多源空间变换器，利用人体参数化模型将多源图像空间对齐到全身空间。2) 接下来，提出具有全局结构引导和 CutMix 一致性的连续 GAN。然后从不同数据集采样并变换图像块，以监督该尺度不变生成模型的训练。大量实验表明，我们的模型从多源数据联合学习所得质量优于从整体数据集学习所得。
引用
@article{arxiv.2309.14335,
title = {UnitedHuman: Harnessing Multi-Source Data for High-Resolution Human Generation},
author = {Jianglin Fu and Shikai Li and Yuming Jiang and Kwan-Yee Lin and Wayne Wu and Ziwei Liu},
journal= {arXiv preprint arXiv:2309.14335},
year = {2023}
}
备注
Accepted by ICCV2023. Project page: https://unitedhuman.github.io/ Github: https://github.com/UnitedHuman/UnitedHuman