PoseVocab:面向人体化身建模的关节结构化姿态嵌入学习

创建姿态驱动的人体化身旨在建模从低频驱动姿态到高频动态人体外观的映射,因此一种能够有效编码高保真人体细节的姿态编码方法对人体化身建模至关重要。为此,我们提出 PoseVocab,一种新颖的姿态编码方法,它鼓励网络发现用于学习动态人体外观的最优姿态嵌入。给定某角色的多视角 RGB 视频,PoseVocab 基于训练姿态构建关键姿态与潜在嵌入。为实现姿态泛化与时序一致性,我们对每个关节在 $so(3)$ 中的关键旋转进行采样,而非全局姿态向量,并为每个采样的关键旋转分配一个姿态嵌入。这些关节结构化姿态嵌入不仅编码了不同关键姿态下的动态外观,还将全局姿态嵌入分解为关节结构化的嵌入,以更好地学习与各关节运动相关的外观变化。为在保持内存效率的同时提升姿态嵌入的表征能力,我们引入特征线——一种紧凑而有效的 3D 表征——来建模更精细的人体外观细节。此外,给定查询姿态与空间位置,我们引入一种分层查询策略来插值姿态嵌入并获取用于动态人体合成的条件姿态特征。总体而言,PoseVocab 有效编码了人体外观的动态细节,并实现了在新姿态下的逼真且具泛化性的动画。实验表明,我们的方法在合成质量上于定性与定量方面均优于其他 SOTA 基线。代码见 https://github.com/lizhe00/PoseVocab。