RayFronts：用于在线场景理解和探索的开放集语义射线前沿
机器人学
2025-04-10 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
开放集语义制图对开放世界机器人至关重要。当前的方法要么受限于深度范围，要么仅在受限环境中映射超出范围的实体，其中总体上它们未能结合范围内和超出范围的观察。此外，这些方法在细粒度语义和效率之间进行权衡。我们引入 RayFronts，一种统一表示，使能够实现稠密和超出范围的高效语义制图。RayFronts 将任务不可知的开放集语义编码到范围内的体素以及在地图边界上编码的超出范围的射线中，使机器人能够显著减少搜索体积并在范围内及范围外做出明智的决策，同时在 Orin AGX 上以 8.84 Hz 的速度运行。对范围内语义进行基准测试显示，RayFronts 的细粒度图像编码在零样本 3D 语义分割方面性能提升 1.34 倍，吞吐量提高 16.5 倍。传统上，线上制图性能与其他系统组件交织，使评估复杂化。我们提出一种 planner 无关的评估框架，捕捉线上超出范围搜索和探索的实用性，表明 RayFronts 比最近的线上基线方法更有效率地将搜索体积缩小 2.2 倍。
引用
@article{arxiv.2504.06994,
title = {RayFronts: Open-Set Semantic Ray Frontiers for Online Scene Understanding and Exploration},
author = {Omar Alama and Avigyan Bhattacharya and Haoyang He and Seungchan Kim and Yuheng Qiu and Wenshan Wang and Cherie Ho and Nikhil Keetha and Sebastian Scherer},
journal= {arXiv preprint arXiv:2504.06994},
year = {2025}
}