GeoLLM：从大语言模型中提取地理空间知识
计算与语言
2024-02-27 v2 机器学习
摘要
机器学习（ML）在一系列地理空间任务中的应用日益普遍，但往往依赖全球可用的协变量（如卫星影像），这些协变量可能昂贵或缺乏预测能力。在此我们探讨一个问题：互联网语言语料库中的海量知识现已被压缩于大语言模型（LLMs）中，能否被用于地理空间预测任务。我们首先证明 LLMs 嵌入了关于地点的显著空间信息，但仅使用地理坐标朴素地查询 LLMs 在预测人口密度等关键指标上无效。随后我们提出 GeoLLM，一种可利用来自 OpenStreetMap 的辅助地图数据从 LLMs 中有效提取地理空间知识的新方法。我们在国际社会的多个核心关注任务上展示了方法的效用，包括人口密度和经济生计的测量。在这些任务中，我们的方法相对使用最近邻或直接使用提示中信息的基线取得了 70% 的性能提升（使用 Pearson 的 衡量），且性能等于或超过文献中基于卫星的基准。通过 GeoLLM，我们观察到 GPT-3.5 分别优于 Llama 2 和 RoBERTa 达 19% 和 51%，表明我们方法的性能随模型规模及其预训练数据集大小良好扩展。我们的实验揭示 LLMs 具有显著的样本效率、丰富的地理空间信息以及全球鲁棒性。关键的是，GeoLLM 在缓解现有地理空间协变量局限并与之良好互补方面展现出前景。代码可在项目网站获取：https://rohinmanvi.github.io/GeoLLM
引用
@article{arxiv.2310.06213,
title = {GeoLLM: Extracting Geospatial Knowledge from Large Language Models},
author = {Rohin Manvi and Samar Khanna and Gengchen Mai and Marshall Burke and David Lobell and Stefano Ermon},
journal= {arXiv preprint arXiv:2310.06213},
year = {2024}
}
备注
Accepted to ICLR 2024