充满表现力的全身3D高斯头像
软凝聚态物质
2024-08-01 v1
摘要
面部表情和手部动作是表达情感和与世界互动所必需的。然而，大多数从随手拍摄的视频中建模的3D人类头像仅支持身体动作，缺乏面部表情和手部动作。在本工作中，我们提出ExAvatar——一个来自短片单目视频所学习的充满表现力的全身3D人类头像。我们将ExAvatar设计为整个身体参数网格模型(SMPL-X)和3D高斯溅射(3DGS)的结合。主要挑战在于：1）视频中面部表情和姿势的多样性有限，2）缺乏3D观察数据，如3D扫描和RGBD图像。视频中的多样性有限使得带有新面部表情和姿势的动画变得困难。此外，缺乏3D观察数据可能导致人类不可观察部位的显著歧义，这会在新动作下导致明显的制造痕迹。为此，我们引入了网格和3D高斯的混合表示。该混合表示将每个3D高斯视为表面上的顶点，预定义的拓扑连接信息(即三角形面)遵循SMPL-X的网格拓扑。它使我们的ExAvatar能够通过驱动SMPL-X的面部表情空间来实现新面部表情的动画。此外，利用基于连接性的正则化，我们显著减少了新面部表情和姿势下的制造痕迹。
引用
@article{arxiv.2407.21685,
title = {Effect of particle shape on the flow of an hourglass},
author = {Bo Fan and Tivadar Pongó and Raúl Cruz Hidalgo and Tamás Börzsönyi},
journal= {arXiv preprint arXiv:2407.21685},
year = {2024}
}
备注
11 pages, 9 figures, final version published in Phys. Rev. Lett