可驱动三维高斯：快速高质量重建多人体化身
计算机视觉与模式识别
2024-07-30 v3 图形学
摘要
神经辐射场能够重建高质量的可驱动人体化身，但训练和渲染代价高昂，且不适用于具有复杂阴影的多人场景。为降低消耗，我们提出可驱动三维高斯（Animatable 3D Gaussian），从输入图像和姿态中学习人体化身。我们通过建模规范空间中一组带蒙皮的三维高斯及相应骨架，并根据输入姿态将三维高斯形变至姿态空间，将三维高斯扩展至动态人体场景。我们引入用于姿态相关形状与外观的多头哈希编码器，以及时间相关的环境光遮蔽模块，以在包含复杂运动和动态阴影的场景中实现高质量重建。在新视角合成和新姿态合成任务上，我们的方法以更短训练时间（1/60）、更少GPU显存（1/4）和更快渲染速度（7倍）取得了比InstantAvatar更高的重建质量。我们的方法可轻松扩展至多人场景，并在仅25秒训练时间内于十人场景中取得可比的新视角合成结果。
引用
@article{arxiv.2311.16482,
title = {Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars},
author = {Yang Liu and Xiang Huang and Minghan Qin and Qinwei Lin and Haoqian Wang},
journal= {arXiv preprint arXiv:2311.16482},
year = {2024}
}