中文

基于单目视频的面向矩形网格嵌入高斯的真人化人类头像重建:RMAvatar

计算机视觉与模式识别 2025-01-14 v1

摘要

我们提出 RMAvatar,一种新颖的人类头像表示方法,通过网格嵌入高斯实现从单目视频中重建真人化人类头像。我们利用显式网格几何表示虚拟人类的运动和形状,并使用高斯溅射进行隐式外观渲染。我们的方法包含两个主要模块:高斯初始化模块和高斯整形模块。我们将高斯嵌入三角形面,并通过网格控制其运动,这确保了头像的低频运动和表面变形。由于 LBS 公式的局限性,人类骨骼难以控制复杂的非刚性变形。我们随后设计了一个与姿态相关的高斯整形模块,以学习细致的非刚性变形,进一步提高了头像的真实感和可表达性。我们在公开数据集上进行了大量实验,RMAvatar 在渲染质量和定量评估方面表现出优异的性能。请参阅我们的项目页面 https://rm-avatar.github.io。

关键词

引用

@article{arxiv.2501.07104,
  title  = {RMAvatar: Photorealistic Human Avatar Reconstruction from Monocular Video Based on Rectified Mesh-embedded Gaussians},
  author = {Sen Peng and Weixing Xie and Zilong Wang and Xiaohu Guo and Zhonggui Chen and Baorong Yang and Xiao Dong},
  journal= {arXiv preprint arXiv:2501.07104},
  year   = {2025}
}

备注

CVM2025