GeoLM：赋能语言模型实现地理空间锚定的语言理解
计算与语言
2023-10-24 v1
摘要
人类在阅读文章时会下意识地进行地理空间推理。我们识别文本中的地名及其空间关系，并在脑海中将其与地球上的物理位置相关联。尽管预训练语言模型可以利用语言上下文模拟这一认知过程，但它们并未利用大型、广泛可用的地理数据库（例如 OpenStreetMap）中有价值的地理空间信息。本文介绍 GeoLM，一种地理空间锚定的语言模型，增强了对自然语言中地理实体的理解。GeoLM 利用地理实体提及作为锚点，将文本语料库中的语言信息与从地理数据库提取的地理空间信息相连接。GeoLM 通过对比学习和掩码语言建模连接这两类上下文。它还引入了空间坐标嵌入机制来编码距离和方向关系以捕获地理空间上下文。在实验中，我们展示了 GeoLM 在支持地名识别、地名链接、关系抽取和地理实体类型标注方面表现出有前景的能力，弥合了自然语言处理与地理空间科学之间的鸿沟。代码公开于 https://github.com/knowledge-computing/geolm。
引用
@article{arxiv.2310.14478,
title = {GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding},
author = {Zekun Li and Wenxuan Zhou and Yao-Yi Chiang and Muhao Chen},
journal= {arXiv preprint arXiv:2310.14478},
year = {2023}
}
备注
Accepted to EMNLP23 main