在线语言Splatting
人工智能
2025-09-26 v3 计算机视觉与模式识别
机器人学
摘要
为使AI代理能够无缝地与人类和3D环境交互，它们不仅必须准确感知3D世界，还必须将人类语言与3D空间表示对齐。虽然先前工作通过将语言特征集成到几何细节丰富的3D场景表示中取得了显著进展，利用了3D高斯Splatting(GS)，但这些方法依赖于对每个输入图像进行计算密集型的离线语言特征预处理，限制了适应新环境的能力。在本工作中，我们引入了Online Language Splatting，这是首个在3DGS-SLAM系统中实现在线、近实时、开放词汇语言映射的框架，无需预生成语言特征。关键挑战在于高效地将高维语言特征融合到3D表示中，同时平衡计算速度、内存使用、渲染质量和开放词汇能力。为此，我们创新性地设计了：1) 一个高分辨率CLIP嵌入模块，能够在每帧18毫秒内生成详细的语言特征图；2) 一个两阶段在线自编码器，将768维CLIP特征压缩至15维，同时保持开放词汇能力；3) 一种颜色-语言解耦优化方法以提升渲染质量。实验结果表明，我们的在线方法不仅在准确性上超越了最先进离线方法，而且实现了超过40倍的效率提升，展示了动态和交互式AI应用的潜力。
引用
@article{arxiv.2503.09447,
title = {Online Language Splatting},
author = {Saimouli Katragadda and Cho-Ying Wu and Yuliang Guo and Xinyu Huang and Guoquan Huang and Liu Ren},
journal= {arXiv preprint arXiv:2503.09447},
year = {2025}
}