GauHuman：基于单目人体视频的铰接式高斯泼溅
计算机视觉与模式识别
2023-12-06 v1
摘要
我们提出了 GauHuman，一种基于高斯泼溅（Gaussian Splatting）的 3D 人体模型，兼具快速训练（1~2 分钟）和实时渲染（高达 189 FPS）的特点，而现有的基于 NeRF 的隐式表示建模框架则需要数小时的训练和每帧数秒的渲染时间。具体而言，GauHuman 在规范空间中对高斯泼溅进行编码，并通过线性混合蒙皮（LBS）将 3D 高斯从规范空间变换到姿态空间，其中设计了有效的姿态和 LBS 细化模块，以在可忽略的计算成本下学习 3D 人体的精细细节。此外，为了实现 GauHuman 的快速优化，我们利用 3D 人体先验来初始化和修剪 3D 高斯，同时通过 KL 散度引导进行分裂/克隆，并引入一种新颖的合并操作以进一步加速。在 ZJU_Mocap 和 MonoCap 数据集上的大量实验表明，GauHuman 在快速训练和实时渲染速度下，在定量和定性方面均达到了最先进的性能。值得注意的是，在不牺牲渲染质量的情况下，GauHuman 能够使用约 13k 个 3D 高斯快速建模 3D 人体表演者。
引用
@article{arxiv.2312.02973,
title = {GauHuman: Articulated Gaussian Splatting from Monocular Human Videos},
author = {Shoukang Hu and Ziwei Liu},
journal= {arXiv preprint arXiv:2312.02973},
year = {2023}
}
备注
project page: https://skhu101.github.io/GauHuman/; code: https://github.com/skhu101/GauHuman