稀疏输入动态视图合成的几何一致性4D高斯溅射
计算机视觉与模式识别
2025-12-01 v1
摘要
高斯溅射被视为动态场景视图合成的一种新方法，在AIoT应用中显示出巨大的潜力，如数字孪生体。然而，最近的动态高斯溅射方法在仅提供稀疏输入视图时会显著降级，限制了其实际应用。该问题源于输入视图减少导致的4D几何不一致学习。本文提出GC-4DGS，一种将几何一致性注入4D高斯溅射（4DGS）的新型框架，能够从稀疏输入视图提供实时高质量的动态场景渲染。虽然基于学习的多视图立体（MVS）和单目深度估计器（MDE）提供几何先验，但直接将其与4DGS集成会导致结果次优，这源于稀疏输入4D几何优化的欠定性问题。为解决这些问题，我们引入动态一致性检查策略以减少跨时空MVS估计不确定性。此外，我们提出全局-局部深度正则化方法，从单目深度中提炼出时空一致的几何信息，从而增强4D体积内几何和外观学习的连贯性。在流行的N3DV和Technicolor数据集上进行的广泛实验表明，GC-4DGS在不牺牲效率的情况下提升了渲染质量。值得注意的是，我们的方法在PSNR上分别比最新的面向稀疏输入动态视图合成的RF-DeRF提升了2.62dB，比原始4DGS提升了1.58dB，并能在资源受限的IoT边缘设备上无缝部署。
引用
@article{arxiv.2511.23044,
title = {Geometry-Consistent 4D Gaussian Splatting for Sparse-Input Dynamic View Synthesis},
author = {Yiwei Li and Jiannong Cao and Penghui Ruan and Divya Saxena and Songye Zhu and Yinfeng Cao},
journal= {arXiv preprint arXiv:2511.23044},
year = {2025}
}