用于高保真人体化身建模的可动画可重光照高斯表示
计算机视觉与模式识别
2024-05-28 v4 图形学
摘要
从RGB视频建模可动画人体化身是一个长期且具挑战性的问题。近期工作通常采用基于MLP的神经辐射场（NeRF）来表示3D人体，但纯MLP仍难以回归姿态相关的衣物细节。为此，我们引入 Animatable Gaussians，一种利用强大2D CNN与3D高斯溅射创建高保真化身的新化身表示。为将3D高斯与可动画化身关联，我们从输入视频中学习一个参数化模板，并将该模板参数化于两张前&后规范高斯贴图上，其中每个像素表示一个3D高斯。所学模板自适应于所穿服装以建模如连衣裙等较宽松衣物。这种模板引导的2D参数化使我们能够采用强大的基于StyleGAN的CNN来学习姿态相关高斯贴图，以建模精细动态外观。此外，我们引入一种姿态投影策略以在新姿态下获得更好泛化。为应对可动画化身的真实重光照，我们将基于物理的渲染引入化身表示以分解化身材质与环境光照。总体而言，我们的方法能创建具有动态、真实、泛化且可重光照外观的生动化身。实验表明我们的方法优于其他最先进方法。
引用
@article{arxiv.2311.16096,
title = {Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling},
author = {Zhe Li and Yipengjing Sun and Zerong Zheng and Lizhen Wang and Shengping Zhang and Yebin Liu},
journal= {arXiv preprint arXiv:2311.16096},
year = {2024}
}
备注
An extended version of Animatable Gaussians, Projectpage: https://animatable-gaussians.github.io/relight