基于 Fisher 信息的多模态 LLM 指导下的探索与主动映射
机器人学
2025-09-08 v3 计算机视觉与模式识别
摘要
我们提出了一个主动映射系统，用于规划长期探索目标和短期动作，采用 3D 高斯溅射(3DGS)表示。现有方法要么未充分利用多模态大型语言模型(LLM)的最新发展，要么未考虑定位不确定性的挑战，这在具身智能体中至关重要。我们提议采用多模态 LLM 进行长期规划，同时利用基于信息的目标进行详细的运动规划。通过利用我们 3DGS 表示提供的高质量视图合成，我们的方法将多模态 LLM 作为从语义角度进行长期探索目标的零样本规划器。我们还引入一种不确定性感知的路径提议与选择算法，在最大化环境信息增益和最小化定位误差成本之间进行平衡。在 Gibson 和 Habitat-Matterport 3D 数据集上的实验表明，所提方法在实验方面取得了最先进的成果。
引用
@article{arxiv.2410.17422,
title = {Multimodal LLM Guided Exploration and Active Mapping using Fisher Information},
author = {Wen Jiang and Boshu Lei and Katrina Ashton and Kostas Daniilidis},
journal= {arXiv preprint arXiv:2410.17422},
year = {2025}
}
备注
ICCV 2025