QUERT：面向旅游领域搜索中查询理解的持续预训练语言模型
计算与语言
2023-06-13 v1
摘要
鉴于预训练语言模型（PLMs）的成功，对通用 PLMs 进行持续预训练已成为领域自适应的范式。在本文中，我们提出 QUERT，一种面向旅游领域搜索中查询理解（QUERy Understanding）的持续预训练语言模型。QUERT 针对旅游领域搜索中查询的特征，在四个定制的预训练任务上联合训练：地理感知掩码预测、Geohash 编码预测、用户点击行为学习，以及短语与词元顺序预测。下游任务的性能提升和消融实验证明了我们所提出预训练任务的有效性。具体而言，在有监督和无监督设置下，下游任务的平均性能分别提升了 2.02% 和 30.93%。为检验 QUERT 对线上业务的提升，我们部署了 QUERT 并在飞猪 APP 上执行 A/B 测试。反馈结果显示，将 QUERT 用作编码器时，其使唯一点击率（Unique Click-Through Rate）和页面点击率（Page Click-Through Rate）分别提升了 0.89% 和 1.03%。我们的代码与下游任务数据将被发布以供未来研究。
引用
@article{arxiv.2306.06707,
title = {QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search},
author = {Jian Xie and Yidan Liang and Jingping Liu and Yanghua Xiao and Baohua Wu and Shenghua Ni},
journal= {arXiv preprint arXiv:2306.06707},
year = {2023}
}
备注
KDD2023 accepted paper