InteractAvatar：利用可变形高斯建模具有照片级真实感化身中的手部与面部交互
计算机视觉与模式识别
2025-04-11 v1
摘要
随着社区对数字化身兴趣的日益浓厚，加之表情与手势在交流中的重要性，建模自然的化身行为在视频会议、游戏和 AR/VR 等众多行业中仍然是一项重要挑战。人手是与环境交互的主要工具，对于逼真的人类行为建模至关重要，然而现有的 3D 手部和头部化身模型往往忽略了手部与身体交互这一关键方面，例如手部与面部之间的交互。我们提出了 InteracttAvatar，这是首个能够忠实捕捉动态手部及非刚性手部与面部交互的照片级真实感外观的模型。我们新颖的动态高斯手部模型结合了模板模型与 3D Gaussian Splatting 以及动态细化模块，能够捕捉依赖于姿态的变化，例如关节运动过程中出现的细微皱纹与复杂阴影。重要的是，我们的手部与面部交互模块对常见手势背后的微妙几何与外观动态进行了建模。通过新视角合成、自我重演和跨身份重演实验，我们证明了 InteracttAvatar 能够从单目或多视角视频中重建具有高保真细节的手部及手部与面部交互，并能以新姿态进行动画驱动。
引用
@article{arxiv.2504.07949,
title = {InteractAvatar: Modeling Hand-Face Interaction in Photorealistic Avatars with Deformable Gaussians},
author = {Kefan Chen and Sergiu Oprea and Justin Theiss and Sreyas Mohan and Srinath Sridhar and Aayush Prakash},
journal= {arXiv preprint arXiv:2504.07949},
year = {2025}
}