基于结构语义推理的多层地图与多模态决策LLM用于目标导航
机器人学
2025-06-09 v1 人工智能
计算机视觉与模式识别
摘要
在未知开放式环境中进行零样本目标导航（ZSON）由于忽略高维隐式场景信息和长距离目标搜索任务，常常会导致性能显著下降。为此，我们提出了一种基于环境属性地图（EAM）和MLLM层次推理模块（MHR）的主动目标导航框架，以提高其成功率和效率。EAM通过推理观察到的环境并预测未观察到的环境来构建，利用人类空间常规性中的对象-房间关联和区域相邻性。MHR受EAM启发，进行前沿探索决策，以避免在长程场景中绕行，从而提高路径效率。实验结果表明，EAM模块在MP3D数据集上实现了64.5%的场景映射准确率，而导航任务在HM3D和MP3D基准测试中分别达到28.4%和26.3%的SPL——分别代表了21.4%和46.0%的绝对性能提升。
引用
@article{arxiv.2506.05896,
title = {Object Navigation with Structure-Semantic Reasoning-Based Multi-level Map and Multimodal Decision-Making LLM},
author = {Chongshang Yan and Jiaxuan He and Delun Li and Yi Yang and Wenjie Song},
journal= {arXiv preprint arXiv:2506.05896},
year = {2025}
}
备注
16 pages, 11 figures