GPS-Gaussian：用于实时人体新视角合成的可泛化像素级 3D Gaussian Splatting
计算机视觉与模式识别
2024-04-17 v3
摘要
我们提出了一种称为 GPS-Gaussian 的新方法，用于以实时方式合成人物角色的新视角。所提出的方法能够在稀疏视角相机设置下进行 2K 分辨率渲染。与原始 Gaussian Splatting 或需要针对每个主体进行优化的神经隐式渲染方法不同，我们引入了定义在源视图上的 Gaussian 参数图，并直接回归 Gaussian Splatting 属性，从而无需任何微调或优化即可实现即时新视角合成。为此，我们在大量人体扫描数据上训练了我们的 Gaussian 参数回归模块，并与深度估计模块联合，将 2D 参数图提升到 3D 空间。所提出的框架是完全可微的，并且在几个数据集上的实验表明，我们的方法优于最先进的方法，同时实现了超高的渲染速度。
引用
@article{arxiv.2312.02155,
title = {GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis},
author = {Shunyuan Zheng and Boyao Zhou and Ruizhi Shao and Boning Liu and Shengping Zhang and Liqiang Nie and Yebin Liu},
journal= {arXiv preprint arXiv:2312.02155},
year = {2024}
}
备注
Accepted by CVPR 2024 (Highlight). Project page: https://shunyuanzheng.github.io/GPS-Gaussian