中文

ASH:用于高效逼真人体渲染的可动画化高斯泼溅

计算机视觉与模式识别 2024-04-16 v2

摘要

实时渲染逼真且可控的人体化身是计算机视觉与图形学的基石。虽然神经隐式渲染的最新进展为数字化身带来了前所未有的逼真度,但实时性能大多仅在静态场景中得到展示。为了解决这个问题,我们提出了 ASH,一种用于实时逼真渲染动态人体的可动画化高斯泼溅方法。我们将着装人体参数化为可动画化的 3D 高斯,这些高斯可以高效地泼溅到图像空间以生成最终渲染。然而,在 3D 空间中直接学习高斯参数在计算方面提出了严峻的挑战。相反,我们将高斯附加到一个可变形角色模型上,并在 2D 纹理空间中学习它们的参数,这使得我们能够利用高效的 2D 卷积架构,这些架构可以轻松扩展到所需的高斯数量。我们在姿势可控化身上将 ASH 与竞争方法进行了基准测试,结果表明我们的方法大幅优于现有的实时方法,并且显示出与离线方法相当甚至更好的结果。

关键词

引用

@article{arxiv.2312.05941,
  title  = {ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering},
  author = {Haokai Pang and Heming Zhu and Adam Kortylewski and Christian Theobalt and Marc Habermann},
  journal= {arXiv preprint arXiv:2312.05941},
  year   = {2024}
}

备注

For project page, see https://vcai.mpi-inf.mpg.de/projects/ash/