OpenGraph：大规模户外环境中的开放词汇层次化 3D 图表示
计算机视觉与模式识别
2024-03-29 v2 人工智能
机器人学
摘要
拥有高级语义的环境表征对于促进机器人与人类之间的无缝交互，使其能够有效执行各种任务至关重要。由视觉语言模型（VLM）驱动的开放词汇地图具有零样例学习和支持开放集类的内在优势。然而，现有的开放词汇地图主要为小规模环境设计，如桌面或房间，通常针对涉及机器人室内导航或局部操作的有限区域任务。由于理解层面和地图结构的局限性，这些方法在面对大量物体和复杂任务的户外环境时面临直接泛化的挑战。本文提出 OpenGraph，即首个为大规模户外环境设计的开放词汇层次化图表示。OpenGraph 初始从视觉图像中提取实例及其描述，通过编码增强文本推理。随后，通过将图像投影到激光点云上，实现基于特征嵌入的 3D 增量对象中心映射。最后，基于车道图连通性对环境进行分段，以构建层次化图结构。SemanticKITTI 等公开数据集的验证结果表明，OpenGraph 在分段和查询精度方面实现了最佳性能。OpenGraph 的源代码已公开发布于 https://github.com/BIT-DYN/OpenGraph。
引用
@article{arxiv.2403.09412,
title = {OpenGraph: Open-Vocabulary Hierarchical 3D Graph Representation in Large-Scale Outdoor Environments},
author = {Yinan Deng and Jiahui Wang and Jingyu Zhao and Xinyu Tian and Guangyan Chen and Yi Yang and Yufeng Yue},
journal= {arXiv preprint arXiv:2403.09412},
year = {2024}
}