LEG-SLAM：面向SLAM的实时语言增强高斯泼溅
计算机视觉与模式识别
2025-06-04 v1
摘要
现代高斯泼溅方法已被证明对3D场景的实时照片级真实感渲染非常有效。然而，将语义信息整合到该表示中仍然是一个重大挑战，尤其是在SLAM（同步定位与建图）应用中保持实时性能。在这项工作中，我们提出了LEG-SLAM——一种新颖的方法，将优化的高斯泼溅实现与使用DINOv2的视觉语言特征提取相融合，随后采用基于主成分分析的可学习特征压缩器，同时实现在线稠密SLAM。我们的方法同时生成高质量的照片级真实感图像和语义标注的场景地图，在Replica数据集上实现了超过10 fps的实时场景重建，在ScanNet上达到18 fps。实验结果表明，我们的方法在重建速度上显著优于SOTA方法，同时实现了具有竞争力的渲染质量。该系统无需诸如相机自运动或预计算的静态语义地图等先验数据准备。凭借其在自主机器人、增强现实和其他交互领域的潜在应用，LEG-SLAM代表了基于3D高斯的实时语义SLAM的重大进展。项目页面：https://titrom025.github.io/LEG-SLAM/
引用
@article{arxiv.2506.03073,
title = {LEG-SLAM: Real-Time Language-Enhanced Gaussian Splatting for SLAM},
author = {Roman Titkov and Egor Zubkov and Dmitry Yudin and Jaafar Mahmoud and Malik Mohrat and Gennady Sidorov},
journal= {arXiv preprint arXiv:2506.03073},
year = {2025}
}