通过多视角语义一致性的可泛化人体 Gaussian Splatting

近期，从稀疏视角输入进行可泛化人体 Gaussian Splatting 因其在逼真人体渲染方面的潜力而被积极研究。现有大多数方法依赖显式几何约束或预定义结构表示来精确定位 3D Gaussians。尽管这些方法在该领域取得了显著进展，但由于人体的复杂关节运动以及不同视角间有限的重叠，它们在多视角输入间仍存在特征表示不一致的问题。为解决这一问题，我们提出一种精确定位 3D Gaussians 并最终提升人体渲染质量的新方法。其核心思想是将从每个视点编码的潜在嵌入通过预测深度图反投影到共享 3D 空间，并基于跨视角注意力重新校准属于同一身体部位的嵌入。这有助于模型解决在高度纹理化区域及被遮挡身体部位中出现的空间歧义，从而实现 3D Gaussians 的精确定位。在基准数据集上的实验结果表明，所提出的方法有效提升了从稀疏视角输入进行可泛化人体 Gaussian Splatting 的性能。