基于纹素对齐特征的可驱动体素化虚拟人

照片级真实远程呈现既需要高保真的人体建模，也需要忠实的驱动，以实现动态合成且难以与现实区分的外观。在本工作中，我们提出一个端到端框架，解决真实人物全身虚拟人的建模与驱动中的两个核心挑战。一个挑战是在驱动虚拟人时，保持无法被身体姿态等全局低维参数化所捕捉的细节与动态。我们的方法支持驱动着装虚拟人，使其具有真实驱动表演者超出训练语料所展现的皱纹与运动。与现有的全局状态表示或非参数化屏幕空间方法不同，我们引入纹素对齐特征（texel-aligned features）——一种局部化表示，可同时利用基于骨架的参数化模型的结构先验与观测到的稀疏图像信号。另一挑战是建模时间连贯的着装虚拟人，这通常要求精确的表面跟踪。为规避此问题，我们通过将体素基元混合扩展至关节化物体，提出一种新颖的体素化虚拟人表示。通过显式引入关节化，我们的方法自然泛化至未见姿态。我们还引入局部化视点条件化，显著提升了视角相关外观的泛化能力。所提体素化表示无需以高质量网格跟踪为先决条件，且相比基于网格的对应方法带来显著的质量改进。在实验中，我们仔细考察设计选择并证明方法的有效性，在具有挑战性的驱动场景下优于最先进的方法。