DEGAS: 全身体Gaussian Avatar的精细表情表达

尽管神经渲染在创建逼真的、可动画化的全身体和头部Avatar方面取得了显著进展，但在全身体Avatar中融入精细表情仍然 largely 未被探索。我们提出了DEGAS，这是首个基于3D高斯溅射（3DGS）的全身体Avatar建模方法，具有丰富的面部表情。在给定主体的多视角视频上训练时，我们的方法学习了一个条件变分自编码器，将身体运动和面部表情同时作为驱动信号来生成UV布局中的Gaussian图。为了驱动面部表情，我们没有采用3D头部Avatar中常用的3D可变形模型（3DMM），而是提出采用仅在2D肖像图像上训练的表情潜空间，弥合了2D说话人脸与3D Avatar之间的差距。利用3DGS的渲染能力和表情潜空间的丰富表现力，所学习的Avatar可以重新驱动以生成具有精细且准确面部表情的照片级渲染图像。在现有数据集和我们新提出的全身体说话Avatar数据集上的实验证明了方法的有效性。我们还提出了借助2D说话人脸的方法的音频驱动扩展，为交互式AI智能体开辟了新的可能性。