HUGS：人体高斯溅射
计算机视觉与模式识别
2023-11-30 v1 图形学
摘要
神经渲染的最新进展将训练与渲染时间提升了数个数量级。尽管这些方法展现了最先进的画质与速度，但它们是为静态场景摄影测量而设计的，不能很好地泛化到环境中自由运动的人体。在本工作中，我们提出人体高斯溅射（HUGS），利用三维高斯溅射（3DGS）来表示可动画化的人体及其所在场景。我们的方法仅需一段包含少量（50-100）帧的单目视频，便能在30分钟内自动学习解耦静态场景与完全可动画化的人体化身。我们利用SMPL身体模型来初始化人体高斯。为捕捉SMPL未建模的细节（如衣物、头发），我们允许三维高斯偏离人体身体模型。将三维高斯用于动画化人体带来了新的挑战，包括对人体高斯进行关节化运动时产生的伪影。我们提出联合优化线性混合蒙皮权重，以协调动画过程中各个高斯的运动。我们的方法支持人体的新姿态合成，以及人体与场景的新视角合成。我们实现了最先进的渲染质量，渲染速度达60 FPS，同时训练速度比先前工作快约100倍。我们的代码将在此发布：https://github.com/apple/ml-hugs
引用
@article{arxiv.2311.17910,
title = {HUGS: Human Gaussian Splats},
author = {Muhammed Kocabas and Jen-Hao Rick Chang and James Gabriel and Oncel Tuzel and Anurag Ranjan},
journal= {arXiv preprint arXiv:2311.17910},
year = {2023}
}