面向快速实时 4D 重建的动态感知高斯溅射流
计算机视觉与模式识别
2025-03-28 v2 人工智能
摘要
最近发展的 3D 高斯溅射 (3DGS) 引起了对 4D 动态空间重建的浓厚兴趣。现有方法主要依赖完整时长的多视角视频，而对能够实现实时训练和逐时刻流式传输的在线重建方法探索有限。当前基于 3DGS 的流式方法将高斯原始片段统一且恒定地不断密集化，从而忽略了动态与静态特征之间的差异，以及场景中时间连续性。为此，我们提出一种用于迭代可流式 4D 动态空间重建的新型三阶段管线。该管线包括保护时间连续性的选择性继承阶段、区分动态与静态原始片段并优化其运动的动态感知位移阶段，以及容纳新出现的对象的误差导向密集化阶段。我们的方法在在线 4D 重建方面实现了最先进的性能，展示了最快的实时训练、卓越的表示质量以及实时渲染能力。项目页面: https://www.liuzhening.top/DASS
引用
@article{arxiv.2411.14847,
title = {Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly 4D Reconstruction},
author = {Zhening Liu and Yingdong Hu and Xinjie Zhang and Rui Song and Jiawei Shao and Zehong Lin and Jun Zhang},
journal= {arXiv preprint arXiv:2411.14847},
year = {2025}
}
备注
Project page: https://www.liuzhening.top/DASS