多场景下一致光照和阴影的动画 3DGS 头像

我们提出一种方法，用于在动画 3D 高斯溶解（3DGS）头像与 3DGS 场景或插入到静态场景中以动态物体交互时，实现一致的光照和阴影。我们的关键贡献是 Deep Gaussian Shadow Maps（DGSM），即为体积 3DGS 表示量身定制的经典阴影映射算法的现代化版本。基于经典深度阴影映射思想，我们展示 3DGS 沿光线积累辐射具有闭式解，使得无需网格化即可进行体积阴影计算。对于每个估计的光源，我们对辐射沿同心径向壳进行制表的传递率，并存储在八面体图集中，这些图集可被现代 GPU 在每次查询时实时抽取，以衰减受影响场景的高斯，从而实现一致的阴影投射和接收。为重新照亮移动的头像，我们用以 HDRI 探针近似局部环境照明，探针以球面谐波（SH）基表示，并应用快速的每个高斯辐射传递，避免显式的 BRDF 估计或离线优化。我们展示了来自 AvatarX 和 ActorsHQ 的头像，合成到 ScanNet++、DL3DV 和 SuperSplat 场景中，并展示了与插入物体的交互。在单人和多人头像设置中，DGSM 和 SH 重新照明完全在体积 3DGS 表示中运行，产生连贯的阴影和重新照明，同时避免网格化。