GS4：通用稀疏点云语义 SLAM

传统 SLAM 算法在摄像头跟踪方面表现优异，但通常生成的地图不完整且分辨率较低，且与语义预测结果未能紧密集成。近期研究将高斯点云 (Gaussian Splatting, GS) 集成到 SLAM 中，以实现稠密、照片级真实感的 3D 地图构建，但现有基于 GS 的 SLAM 方法需要针对每个场景进行优化，速度较慢且消耗大量高斯点。我们提出 GS4，即首个通用 GS 语义 SLAM 系统。与现有方法相比，GS4 运行速度提升 10 倍，所需高斯点数量减少 10 倍，在颜色、深度、语义映射和摄像头跟踪等方面实现最先进的性能。从 RGB-D 视频流输入，GS4 采用前馈网络逐步构建和更新 3D 高斯点集合。首先，高斯预测模型从输入帧估计稀疏的高斯参数，将颜色和语义预测统一集成于同一主干网络中。随后，高斯细化网络在避免冗余的前提下，将新生成的高斯点与现有集合进行合并。最后，当检测到显著的姿态变化时，仅进行 1-5 次的联合高斯-姿态优化，以纠正漂移、移除漂浮点，并进一步提升跟踪精度。在真实世界的 ScanNet 和 ScanNet++ 数据集上进行实验，表明 GS4 在语义 SLAM 方面实现了最先进的性能，并通过对 NYUv2 和 TUM RGB-D 数据集的零样本迁移测试，展示了强大的泛化能力。