MGStream：用于流式动态场景重建的运动感知三维高斯
计算机视觉与模式识别
2025-05-21 v1
摘要
三维高斯溶解（3DGS）因其光照逼真的渲染能力和计算效率，在可流式动态新视角合成（DNVS）中受到广泛关注。尽管在改进渲染质量和优化策略方面取得了显著进展，但基于3DGS的可流式动态场景重建仍面临闪烁性瑕疵和存储效率低下的问题，难以建模新出现的物体。为此，我们引入MGStream，利用与运动相关的三维高斯（3DGs）重建动态场景，同时使用普通3DGs处理静态场景。运动相关的3DGs依据运动掩码和基于聚类的凸包算法进行实现。对运动相关的3DGs施加刚性变形，以建模动态场景；同时，基于注意力的优化方法用于重建新出现的物体。由于变形和优化仅在运动相关的3DGs上进行，MGStream可避免闪烁性瑕疵并提高存储效率。在真实世界数据集N3DV和MeetRoom上的大量实验表明，MGStream在渲染质量、训练/存储效率和时间一致性方面均优于现有的基于流式3DGS方法。我们的代码已公开：https://github.com/pcl3dv/MGStream。
引用
@article{arxiv.2505.13839,
title = {MGStream: Motion-aware 3D Gaussian for Streamable Dynamic Scene Reconstruction},
author = {Zhenyu Bao and Qing Li and Guibiao Liao and Zhongyuan Zhao and Kanglin Liu},
journal= {arXiv preprint arXiv:2505.13839},
year = {2025}
}