Human101：从单视图在 100 秒内训练 100+FPS 的人体高斯
计算机视觉与模式识别
2023-12-27 v1
摘要
从单视图视频重建人体在虚拟现实领域发挥着关键作用。一个普遍的应用场景需要快速重建高保真度的 3D 数字人，同时确保实时渲染和交互。现有方法往往难以同时满足这两个要求。在本文中，我们介绍了 Human101，这是一个新颖的框架，擅长通过从 1 视图视频中训练 3D 高斯，在 100 秒内生成高保真度的动态 3D 人体重建，并以 100+ FPS 的速度进行渲染。我们的方法利用了 3D Gaussian Splatting 的优势，它提供了 3D 人体的显式且高效的表示。与先前基于 NeRF 的流程不同，Human101 巧妙地应用了一种以人为中心的正向高斯动画 (Human-centric Forward Gaussian Animation) 方法来变形 3D 高斯的参数，从而提高了渲染速度（即以令人印象深刻的 60+ FPS 渲染 1024 分辨率图像，以 100+ FPS 渲染 512 分辨率图像）。实验结果表明，我们的方法大幅超越了当前方法，帧率提升了高达 10 倍，并提供了相当或更优的渲染质量。代码和演示将发布于 https://github.com/longxiang-ai/Human101。
引用
@article{arxiv.2312.15258,
title = {Human101: Training 100+FPS Human Gaussians in 100s from 1 View},
author = {Mingwei Li and Jiachen Tao and Zongxin Yang and Yi Yang},
journal= {arXiv preprint arXiv:2312.15258},
year = {2023}
}
备注
Website: https://github.com/longxiang-ai/Human101