GoMAvatar：使用网格上的高斯从单目视频高效构建可动画人体模型
计算机视觉与模式识别
2024-04-12 v1
摘要
我们引入了 GoMAvatar，一种用于实时、内存高效、高质量可动画人体建模的新方法。GoMAvatar 将单目视频作为输入，创建一个数字虚拟人，能够以新姿态重新关节化并从新视角进行实时渲染，同时与基于光栅化的图形管线无缝集成。我们方法的核心是网格上的高斯表示，这是一种混合3D模型，将高斯泼溅的渲染质量和速度与可变形网格的几何建模能力和兼容性相结合。我们在 ZJU-MoCap 数据和各种 YouTube 视频上评估了 GoMAvatar。GoMAvatar 在渲染质量上匹配或超越了当前的单目人体建模算法，并在计算效率上显著优于它们（43 FPS），同时具有很高的内存效率（每个对象 3.63 MB）。
引用
@article{arxiv.2404.07991,
title = {GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh},
author = {Jing Wen and Xiaoming Zhao and Zhongzheng Ren and Alexander G. Schwing and Shenlong Wang},
journal= {arXiv preprint arXiv:2404.07991},
year = {2024}
}
备注
CVPR 2024; project page: https://wenj.github.io/GoMAvatar/