大语言模型中地理空间位置嵌入方法的系统性综述:通往空间人工智能系统之路
信息检索
2024-01-22 v1 人工智能
计算与语言
摘要
地理空间位置嵌入(GLE)帮助大语言模型(LLM)吸收并分析空间数据。GLE 在地理空间人工智能(GeoAI)中的兴起,源于我们复杂的当代空间对更深层次地理空间感知的需求,以及 LLM 在生成式人工智能中提取深层含义的成功。我们在 Google Scholar、Science Direct 和 arXiv 上检索了关于地理空间位置嵌入和 LLM 的论文,并综述了旨在通过 LLM 获得更深层空间“认知”的文章。我们筛选了 304 篇标题、30 篇摘要和 18 篇全文论文,揭示了四个 GLE 主题——实体位置嵌入(ELE)、文档位置嵌入(DLE)、序列位置嵌入(SLE)和词元位置嵌入(TLE)。综述综合采用表格和叙述形式,包括“空间”与“LLM”之间的对话式交流。尽管 GLE 通过叠加空间数据辅助了空间理解,但它们强调需要在空间模态的复杂性和泛化推理方面取得进展。GLE 表明需要一种将空间认知嵌入其模型架构中的空间基础/语言模型(SLM)。SLM 框架推动了空间人工智能系统(SPAIS)的发展,建立了映射到物理空间的空间向量空间(SVS)。由此产生的被赋予空间属性的语言模型是独特的。它同时表征了实际空间和具备 AI 能力的空间,为 AI 原生的地理存储、分析和多模态奠定了基础,成为空间人工智能系统(SPAIS)的基石。
引用
@article{arxiv.2401.10279,
title = {A systematic review of geospatial location embedding approaches in large language models: A path to spatial AI systems},
author = {Sean Tucker},
journal= {arXiv preprint arXiv:2401.10279},
year = {2024}
}
备注
20 pages, 11 figures, 3 appendices