基于 LLM 智能体的仓库空间问答
计算机视觉与模式识别
2025-08-15 v2 人工智能
摘要
空间理解一直是现有多模态大语言模型（MLLMs）的难题。以往的方法利用大规模 MLLM 微调来增强 MLLM 的空间理解能力。本文提出一种数据高效的方法。我们提出了一个具备强大且先进空间推理能力的 LLM 智能体系统，可用于解决复杂室内仓库场景中具有挑战性的空间问答任务。我们的系统集成了多个工具，允许 LLM 智能体进行空间推理和 API 工具交互，以回答给定的复杂空间问题。对 2025 年 AI City Challenge 物理 AI 空间智能仓库数据集进行的广泛评估表明，我们的系统在对象检索、计数和距离估计等任务中实现了高准确率和高效率。代码可在 https://github.com/hsiangwei0903/SpatialAgent 获取。
引用
@article{arxiv.2507.10778,
title = {Warehouse Spatial Question Answering with LLM Agent},
author = {Hsiang-Wei Huang and Jen-Hao Cheng and Kuang-Ming Chen and Cheng-Yen Yang and Bahaa Alattar and Yi-Ru Lin and Pyongkun Kim and Sangwon Kim and Kwangju Kim and Chung-I Huang and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2507.10778},
year = {2025}
}
备注
1st Place Solution of the 9th AI City Challenge Track 3