GPS-Gaussian+：用于稀疏视图实时人物-场景渲染的可泛化像素级 3D Gaussian Splatting

可微渲染技术最近在角色的自由视点视频合成中展现出令人鼓舞的结果。然而，此类方法，无论是 Gaussian Splatting 还是神经隐式渲染，通常需要针对每个主体进行优化，这无法满足交互式应用中实时渲染的要求。我们提出了一种可泛化的 Gaussian Splatting 方法，用于在稀疏视图相机设置下进行高分辨率图像渲染。为此，我们引入了定义在源视图上的 Gaussian 参数图，并直接回归 Gaussian 属性以实现即时新视图合成，无需任何微调或优化。我们在仅人物数据或人物-场景数据上训练我们的 Gaussian 参数回归模块，并与深度估计模块联合，将 2D 参数图提升至 3D 空间。所提出的框架在深度和渲染监督下，或仅在渲染监督下，都是完全可微的。我们进一步引入了正则化项和极线注意力机制，以保持两个源视图之间的几何一致性，特别是在忽略深度监督时。在多个数据集上的实验表明，我们的方法在实现超越性渲染速度的同时，优于最先进的方法。