大型语言模型生成的地理位置表示是时空学习的通用增强器
人工智能
2024-12-19 v2
摘要
在地理空间领域，通用表示模型相较于其在自然语言处理和计算机视觉中的广泛应用，仍显得不足。这一差异主要源于现有表示模型输入成本高昂，通常需要街景图像和移动数据。为此，我们开发了一种新型无训练方法，利用大型语言模型(LLM)和来自OpenStreetMap的辅助地图数据，推导出地理位置表示(LLMGeovec)。LLMGeovec能够代表城市、国家和全球尺度的地理语义，作为时空学习的通用增强器。具体而言，通过直接特征拼接，我们引入一种简单而有效的范式，用于增强包括地理预测(GP)、长期时间序列预测(LTSF)和基于图的时空预测(GSTF)在内的多项时空任务。LLMGeovec可以无缝集成到广泛的时空学习模型中，提供即时性能提升。实验结果表明，LLMGeovec实现了全球覆盖，显著提升了领先GP、LTSF和GSTF模型的性能。我们的代码已公开于\url{https://github.com/Umaruchain/LLMGeovec}。
引用
@article{arxiv.2408.12116,
title = {Geolocation Representation from Large Language Models are Generic Enhancers for Spatio-Temporal Learning},
author = {Junlin He and Tong Nie and Wei Ma},
journal= {arXiv preprint arXiv:2408.12116},
year = {2024}
}
备注
Accepted at AAAI25 main track