SpaBERT: 一种基于地理数据的预训练语言模型用于地理实体表示

命名地理实体(简称地理实体)是许多地理数据集的基本组成单元。刻画地理实体是地理智能与地图理解等多种应用领域不可或缺的一部分,而一个关键挑战在于捕捉实体随空间变化的环境。我们假设,应像通过语言上下文知晓词义一般,凭借周边实体来了解一个地理实体的特征。相应地,我们提出一种新颖的空间语言模型 SpaBERT,它基于地理空间数据中的相邻实体提供通用目的的地理实体表示。SpaBERT 扩展 BERT 以捕捉线性化空间上下文,同时引入空间坐标嵌入机制以在二维空间中保留实体的空间关系。SpaBERT 通过掩码语言建模与掩码实体预测任务进行预训练,以学习空间依赖关系。我们将 SpaBERT 应用于两个下游任务:地理实体类型标注与地理实体链接。与不使用空间上下文的现有语言模型相比,SpaBERT 在两项任务上均展现出显著的性能提升。我们还分析了不同设置下 SpaBERT 的实体表示以及空间坐标嵌入的作用。