基于分层表面体表达的高效三维关节化人体生成
计算机视觉与模式识别
2023-07-12 v1
摘要
获取高质量且多样化的三维关节化数字人体资源在从虚拟现实到社交平台的各种应用中至关重要。生成式方法，如三维生成对抗网络（GAN），正迅速取代费力的手动内容创作工具。然而，现有的三维 GAN 框架通常依赖于场景表示，这些表示要么利用模板网格（速度快但质量有限），要么利用体素（容量高但渲染慢），从而限制了 GAN 设定下的三维保真度。在本工作中，我们引入分层表面体（LSV）作为关节化数字人体的新型三维物体表示。LSV 使用围绕常规模板的多个带纹理网格层来表示人体。这些层使用具有快速可微光栅化的 alpha 合成进行渲染，并且可解释为将容量分配给模板周围有限厚度流形的体素表示。与难以表示头发或配饰等精细离面细节的传统单层模板不同，我们的表面体自然地捕捉此类细节。LSV 可进行关节化，并且在 GAN 设定下表现出卓越的效率，其中二维生成器学习为各个层合成 RGBA 纹理。在无结构、单视图二维图像数据集上训练，我们的 LSV-GAN 生成高质量且视图一致的三维关节化数字人体，无需视图不一致的二维上采样网络。
引用
@article{arxiv.2307.05462,
title = {Efficient 3D Articulated Human Generation with Layered Surface Volumes},
author = {Yinghao Xu and Wang Yifan and Alexander W. Bergman and Menglei Chai and Bolei Zhou and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2307.05462},
year = {2023}
}
备注
Project page: https://www.computationalimaging.org/publications/lsv/ Demo: https://www.youtube.com/watch?v=vahgMFCM3j4