评估大语言模型在表示几何与空间关系文本描述中的有效性
计算与语言
2023-07-10 v1 人工智能
机器学习
摘要
本研究聚焦于评估大语言模型(LLMs)在表示几何及其空间关系方面的能力。我们利用包括GPT-2和BERT在内的LLM对几何的知名文本(WKT)格式进行编码，随后将其嵌入向量输入分类器和回归器，以评估LLM生成的嵌入向量对几何属性的有效性。实验表明，尽管LLM生成的嵌入向量能够保留几何类型并捕获部分空间关系(准确率高达73%)，但在估计数值和检索空间相关对象方面仍存在挑战。本研究强调了在捕获底层地理空间数据的细微差别与复杂性以及整合领域知识以支撑使用基础模型的各种GeoAI应用方面有待改进的需求。
引用
@article{arxiv.2307.03678,
title = {Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations},
author = {Yuhan Ji and Song Gao},
journal= {arXiv preprint arXiv:2307.03678},
year = {2023}
}