MGeo：多模态地理预训练方法
计算与语言
2023-05-25 v2
摘要
作为基于位置服务 (LBS)（如导航地图）中的核心任务，查询与兴趣点 (POI) 匹配将用户意图与真实世界地理信息相连接。近来，预训练模型 (PTMs) 已在诸多自然语言处理 (NLP) 任务中取得进展。通用基于文本的 PTM 缺乏足够的地理知识用于查询–POI 匹配。为克服此限制，相关文献尝试基于地理相关语料进行领域自适应预训练。然而，查询通常包含多个地理对象的提及，如附近道路与感兴趣区域 (ROIs)。地理上下文 (GC)，即这些多样地理对象及其关系，因此对检索最相关 POI 至关重要。单模态 PTM 几乎无法利用重要的 GC，故性能有限。本工作中，我们提出一种新颖的查询–POI 匹配方法多模态地理语言模型 (MGeo)，其包含地理编码器与多模态交互模块。MGeo 将 GC 表示为一种新模态，并能充分提取多模态关联以实现准确查询–POI 匹配。此外，该主题尚无公开基准。为便利进一步研究，我们构建了一个新的开源大规模基准地理文本相似度 (GeoTES)。POI 来自开源地理信息系统 (GIS)。查询由标注人员人工生成以避免隐私问题。与若干强基线相比，在 GeoTES 上的广泛实验结果及详细消融分析表明，我们提出的多模态预训练方法可显著提升通用 PTM 的查询–POI 匹配能力，即便在查询的 GC 未提供时亦然。我们的代码与数据集公开于 https://github.com/PhantomGrapes/MGeo。
引用
@article{arxiv.2301.04283,
title = {MGeo: Multi-Modal Geographic Pre-Training Method},
author = {Ruixue Ding and Boli Chen and Pengjun Xie and Fei Huang and Xin Li and Qiang Zhang and Yao Xu},
journal= {arXiv preprint arXiv:2301.04283},
year = {2023}
}
备注
10 pages, 5 figures