OnlinePG：基于3D高斯溅出的在线开放词汇全景映射
计算机视觉与模式识别
2026-03-20 v1
摘要
在线全景映射与开放词汇场景理解对于具身应用至关重要，以感知和交互环境。然而，现有方法大多为离线或缺乏实例级理解，限制了其在实际机器人任务中的适用性。本文提出OnlinePG，一种集成几何重建和开放词汇感知的新型有效系统，利用3D高斯溅出在在线设置中实现。技术上，为实现在线全景映射，我们采用局部到全局范式，配合滑动窗口。为构建局部一致性图，我们构建3D分段聚类图，联合利用几何和语义线索，将滑动窗口内不一致的分段融合为完整实例。随后，为更新全局图，我们构建具有空间属性的显式网格用于局部分辨图，并通过稳健的双向二分匹配将其融合到全局图中。最后，我们利用融合后的VLM特征内置于3D空间属性网格中，实现开放词汇场景理解。广泛的实验表明，我们的方法在在线方法中实现了更好的性能，同时保持实时效率。
引用
@article{arxiv.2603.18510,
title = {OnlinePG: Online Open-Vocabulary Panoptic Mapping with 3D Gaussian Splatting},
author = {Hongjia Zhai and Qi Zhang and Xiaokun Pan and Xiyu Zhang and Yitong Dong and Huaqi Zhang and Dan Xu and Guofeng Zhang},
journal= {arXiv preprint arXiv:2603.18510},
year = {2026}
}
备注
CVPR 2026