G2PTL：一种面向物流系统配送地址的预训练模型及其应用
人工智能
2023-09-01 v3
摘要
基于文本的配送地址作为物流系统的数据基础，蕴含丰富而关键的位置信息。如何有效编码配送地址是提升物流系统中下游任务性能的核心任务。为自然语言处理（NLP）设计的预训练模型（PTMs）已成为编码文本语义信息的主导工具。尽管前景可期，这些基于 NLP 的 PTMs 在编码配送地址中的地理知识方面存在不足，这显著削弱了菜鸟等物流系统中配送相关任务的性能。为解决上述问题，我们提出一种领域特定的预训练模型，名为 G2PTL，即物流领域面向配送地址的地理-图预训练模型（Geography-Graph Pre-trained model for delivery address in Logistics field）。G2PTL 将文本预训练的语义学习能力与图建模的地理关系编码能力相结合。具体而言，我们首先利用真实物流配送数据构建大规模配送地址异质图，其中包含丰富的地理知识与配送信息。随后，G2PTL 使用从该异质图中采样的子图进行预训练。我们开展了全面的实验，通过真实数据集上物流系统的四项下游任务证明 G2PTL 的有效性。G2PTL 已部署于菜鸟物流系统的生产环境，显著提升了配送相关任务的性能。G2PTL 的代码见 https://huggingface.co/Cainiao-AI/G2PTL。
引用
@article{arxiv.2304.01559,
title = {G2PTL: A Pre-trained Model for Delivery Address and its Applications in Logistics System},
author = {Lixia Wu and Jianlin Liu and Junhong Lou and Haoyuan Hu and Jianbin Zheng and Haomin Wen and Chao Song and Shu He},
journal= {arXiv preprint arXiv:2304.01559},
year = {2023}
}