中文

对话式取向推理:基于多模态链式思考的本体到世界坐标导航

机器学习 2025-09-24 v1 人工智能 计算与语言 机器人学

摘要

对话式智能体必须将本体化言语(例如“在我右侧”)转化为世界坐标取向(N/E/S/W)。在室内或复杂设施中,GPS信号微弱且缺乏详细地图时,这一挑战尤为关键。虽然链式思考(chain-of-thought, CoT) prompting 在语言和视觉任务中取得进展,但其在多模态空间取向中的应用仍鲜有探索。我们引入对话式取向推理(Conversational Orientation Reasoning, COR),一个针对传统中文对话导航设计的新基准,源自真实环境,旨在解决非英语及ASR转录场景下的本体到世界坐标推理问题。我们提出了一种多模态链式思考(multimodal chain-of-thought, MCoT)框架,将ASR转录语音与地标坐标通过结构化的三步骤推理过程集成:(1)提取空间关系,(2)将坐标映射到绝对方向,(3)推断用户取向。我们采用渐进式课程学习策略,在台湾语言大模型(Taiwan-LLM-13B-v2.0-Chat)上构建这些能力,该模型代表资源受限的设置。实验表明,MCoT在干净转录文本上实现100%取向准确率,ASR转录文本下达98.1%,显著优于单模态和非结构化基线。此外,MCoT在噪声对话条件下表现出鲁棒性,包括ASR识别错误和多语言代码切换。该模型在跨域评估中也保持高准确率,并对语言变异、领域迁移和指代模糊具有鲁棒性。这些发现凸显了结构化MCoT空间推理作为可解释且资源高效的具身导航路径的潜力。

关键词

引用

@article{arxiv.2509.18200,
  title  = {Conversational Orientation Reasoning: Egocentric-to-Allocentric Navigation with Multimodal Chain-of-Thought},
  author = {Yu Ti Huang},
  journal= {arXiv preprint arXiv:2509.18200},
  year   = {2025}
}