用混合 3D 表示学习解耦化虚拟人

人们已付出巨大努力来学习可动画且照片级真实的人体虚拟人。为此，显式和隐式 3D 表示都被深入研究以对人类整体（如身体、衣物、脸和头发）进行全息建模与捕捉，但就表示效能而言，两种表示都不是最优选择，因为人体虚拟人的不同部分具有不同的建模需求。例如，网格通常不适合建模衣物和头发。受此启发，我们提出解耦化虚拟人（DELTA），它用显式-隐式混合 3D 表示来建模人体。DELTA 以单目 RGB 视频作为输入，生成具有分离身体与衣物/头发层的人体虚拟人。具体而言，我们展示了 DELTA 的两个重要应用。第一个中，我们考虑人体与衣物的解耦；第二个中，我们解耦脸与头发。为此，DELTA 用基于网格的显式参数化 3D 模型表示身体或脸，用隐式神经辐射场表示衣物或头发。为使这成为可能，我们设计了一个端到端可微渲染器，将网格集成到体渲染中，使 DELTA 能直接从单目视频学习而无需任何 3D 监督。最后，我们展示了这两个应用如何轻松结合以建模全身虚拟人，使得头发、脸、身体和衣物可完全解耦却又联合渲染。这种解耦实现了向任意身体形状的头发与衣物迁移。我们通过展示其在解耦重建、虚拟试衣和发型迁移上的良好表现，实证验证了 DELTA 解耦的有效性。为促进未来研究，我们还发布了一个用于混合人体虚拟人建模研究的开源流水线。