SemanticHuman-HD:高分辨率语义解缠解 3D 人类生成
计算机视觉与模式识别
2024-03-18 v1
摘要
随着神经辐射场和生成模型的发展,已提出诸多方法用于从 2D 图像生成 3D 人类。这些方法允许控制生成 3D 人类的姿态,并支持来自不同视角的渲染。然而,这些方法均未探索人类图像合成中的语义解缠解,即无法解缠解不同语义部分(如身体、上衣和下装)的生成。此外,现有方法受限于神经辐射场的高计算成本,仅能合成 分辨率的图像。为此,我们提出 SemanticHuman-HD,是实现语义解缠解人类图像合成的首个方法。值得注意的是,SemanticHuman-HD 也是首个实现 分辨率 3D 感知图像合成的方法,得益于我们提出的 3D 感知超分辨模块。通过利用深度图和语义掩码作为 3D 感知超分辨的指导,我们显著减少了体渲染期间的采样点数量,从而降低了计算成本。我们的对比实验证明了我们方法的优越性。每个提出组件的有效性也通过消融研究得到验证。此外,我们的方法为诸多应用开辟了激动人心的可能性,包括 3D 服装生成、语义感知图像合成、可控图像合成以及超域图像合成。
引用
@article{arxiv.2403.10166,
title = {SemanticHuman-HD: High-Resolution Semantic Disentangled 3D Human Generation},
author = {Peng Zheng and Tao Liu and Zili Yi and Rui Ma},
journal= {arXiv preprint arXiv:2403.10166},
year = {2024}
}
备注
26 pages, 14 figures