稀疏多视角动态高斯溅射：为电影制作挑战提供解决方案
计算机视觉与模式识别
2026-04-21 v2 图形学
多媒体
摘要
可变形高斯溅射(GS)通过学习对标准GS表示进行变形，从稠密多视角视频(MVV)中实现光照剧中动态3D重建。然而，在电影制作中，紧张的预算可能导致稀疏相机配置，这在捕捉复杂动态特征时限制了最先进(SotA)方法。为此，我们引入一种方法将标准高斯和变形场分为前景和背景组件，使用t=0时刻的稀疏掩码集表示。每种表示在标准预训练期间分别针对不同损失函数进行训练。随后，在动态训练期间，为每个变形场建模不同的参数，遵循常见的电影制作惯例。前景阶段包含多样化的动态特征，因此学习颜色、位置和旋转的变化。而背景包含导演团队和设备，通常较暗且动态较小，因此仅学习点位的变化。在3D和2.5D娱乐数据集上进行实验表明，我们的方法在定性和定量结果上均达到SotA水平；在3D场景中，PSNR提升最高可达3个单位，模型规模仅为一半。与SotA方法不同且无需稠密掩码监督，我们的方法还能生成包括透明和动态纹理在内的分段动态重建。代码和视频比较已在线提供：https://azzarelli.github.io/splatographypage/index.html
引用
@article{arxiv.2511.05152,
title = {Splatography: Sparse multi-view dynamic Gaussian Splatting for filmmaking challenges},
author = {Adrian Azzarelli and Nantheera Anantrasirichai and David R Bull},
journal= {arXiv preprint arXiv:2511.05152},
year = {2026}
}
备注
Accepted to IEEE International Conference on 3DV (2026)