HyperHuman：基于潜空间结构扩散的超写实人体生成
计算机视觉与模式识别
2024-03-18 v2
摘要
尽管大规模文本到图像模型取得了显著进展，实现超写实人体图像生成仍是一项令人向往却未解决的课题。Stable Diffusion 和 DALL-E 2 等现有模型往往生成部件不协调或姿态不自然的人体图像。为应对这些挑战，我们的核心见解是：人体图像在多个粒度上天然具有结构性，从粗粒度的身体骨架到细粒度的空间几何。因此，在单一模型中捕捉显式外观与潜层结构之间的此类关联，对于生成连贯自然的人体图像至关重要。为此，我们提出统一框架 HyperHuman，可生成具有高度真实感和多样布局的野外人体图像。具体而言：1）我们首先构建了大规模以人为中心的数据集 HumanVerse，包含 3.4 亿张图像及人体姿态、深度和表面法线等全面标注。2）接下来，我们提出潜空间结构扩散模型，在去噪合成 RGB 图像的同时对深度和表面法线进行去噪。我们的模型在统一网络中强制图像外观、空间关系和几何的联合学习，模型中各分支在结构感知与纹理丰富性上互为补充。3）最后，为进一步提升视觉质量，我们提出结构引导细化器，组合预测条件以生成更高分辨率的更精细图像。大量实验表明，我们的框架取得了最先进的性能，可在多样场景下生成超写实人体图像。项目主页：https://snap-research.github.io/HyperHuman/
引用
@article{arxiv.2310.08579,
title = {HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion},
author = {Xian Liu and Jian Ren and Aliaksandr Siarohin and Ivan Skorokhodov and Yanyu Li and Dahua Lin and Xihui Liu and Ziwei Liu and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2310.08579},
year = {2024}
}
备注
Accepted by ICLR 2024, camera-ready version. Project Page: https://snap-research.github.io/HyperHuman/