HiFi4G：通过紧凑的高斯泼溅实现高保真人体表演渲染
计算机视觉与模式识别
2023-12-08 v2
摘要
近期，我们在逼真人体建模与渲染方面取得了巨大进展。然而，高效地渲染逼真的人体表演并将其集成到光栅化流水线中仍然具有挑战性。在本文中，我们提出了 HiFi4G，这是一种基于显式且紧凑的高斯方法，用于从密集视角素材中进行高保真人体表演渲染。我们的核心直觉是将 3D 高斯表示与非刚性跟踪相结合，实现紧凑且易于压缩的表示。我们首先提出了一种双图机制来获取运动先验，利用粗变形图进行有效初始化，并利用细粒度高斯图来施加后续约束。然后，我们采用具有自适应时空正则化器的 4D 高斯优化方案，以有效平衡非刚性先验与高斯更新。我们还提出了一种带有残差补偿的配套压缩方案，以在各种平台上提供沉浸式体验。该方案实现了约 25 倍的显著压缩率，每帧存储量不到 2MB。大量实验证明了我们方法的有效性，在优化速度、渲染质量和存储开销方面均显著优于现有方法。
引用
@article{arxiv.2312.03461,
title = {HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting},
author = {Yuheng Jiang and Zhehao Shen and Penghao Wang and Zhuo Su and Yu Hong and Yingliang Zhang and Jingyi Yu and Lan Xu},
journal= {arXiv preprint arXiv:2312.03461},
year = {2023}
}