ERNIE-GeoL：一种地理与语言预训练模型及其在百度地图中的应用
计算与语言
2022-06-13 v3 人工智能
摘要
预训练模型（PTM）已成为自然语言处理与计算机视觉中下游任务的基础骨干。尽管在百度地图将通用 PTM 应用于地理相关任务曾获得初步收益，但随时间推移观察到明显的性能瓶颈。造成该瓶颈的主要原因之一是通用 PTM 中缺乏易获取的地理知识。为解决此问题，本文提出 ERNIE-GeoL，一种专为改进百度地图地理相关任务而设计并开发的地理与语言预训练模型。ERNIE-GeoL 精心设计为通过基于含丰富地理知识的异构图所生成的大规模数据预训练，学习地理-语言的通用表示。在大规模真实世界数据集上进行的广泛定量与定性实验证明了 ERNIE-GeoL 的优越性与有效性。ERNIE-GeoL 自 2021 年 4 月起已部署于百度地图生产环境，显著提升了各类下游任务性能。这表明 ERNIE-GeoL 可作为广泛地理相关任务的基础骨干。
引用
@article{arxiv.2203.09127,
title = {ERNIE-GeoL: A Geography-and-Language Pre-trained Model and its Applications in Baidu Maps},
author = {Jizhou Huang and Haifeng Wang and Yibo Sun and Yunsheng Shi and Zhengjie Huang and An Zhuo and Shikun Feng},
journal= {arXiv preprint arXiv:2203.09127},
year = {2022}
}
备注
Accepted by KDD 2022, camera-ready version