LLM 在空间信息方面的固有局限性
计算与语言
2023-12-07 v1 人工智能
摘要
尽管大型语言模型（如 ChatGPT）在自然语言处理能力方面取得了显著进步，但它们在理解和处理空间信息，特别是在 2D 和 3D 路径规划领域的能力，仍然明显不足。本文研究了 ChatGPT 及类似模型在空间推理和导航相关任务中的固有局限性，这是一个对从自动驾驶汽车导航到视障人士辅助技术等应用至关重要的领域。在本文中，我们引入了一个新颖的评估框架，并辅以为本研究精心构建的基线数据集。该数据集围绕三个关键任务构建：绘制空间点、在二维 (2D) 空间中规划路线，以及在三维 (3D) 环境中设计路径。我们专门开发了这个数据集来评估 ChatGPT 的空间推理能力。我们的评估揭示了关于该模型在空间理解方面的能力和局限性的关键见解。
引用
@article{arxiv.2312.03042,
title = {Inherent limitations of LLMs regarding spatial information},
author = {He Yan and Xinyao Hu and Xiangpeng Wan and Chengyu Huang and Kai Zou and Shiqi Xu},
journal= {arXiv preprint arXiv:2312.03042},
year = {2023}
}