CPRM：基于 LLM 的商业搜索相关性建模持续预训练框架
人工智能
2025-02-19 v5 计算与语言
信息检索
机器学习
摘要
查询与条目之间的相关性建模是商业搜索引擎中的关键组件，直接影响用户体验。鉴于大型语言模型 (LLM) 在各种自然语言处理 (NLP) 任务中取得的显著成就，LLM 基于的相关性建模正逐渐被采纳于工业搜索系统中。然而，基础 LLM 缺乏领域特定知识，且未充分发挥上下文学习的潜能。此外，结构化条目文本未被充分利用，且缺乏相应查询和背景知识的供给。为此，我们提出 CPRM (Continual Pre-training for Relevance Modeling)，一个旨为 LLM 持续预训练以解决上述问题的框架。我们的 CPRM 框架包括三个模块：1) 同时使用查询和多字段条目进行预训练，以增强领域知识；2) 应用上下文预训练，这是一种 novel 方法，即在一系列相关查询或条目上对 LLM 进行预训练；3) 对条目进行阅读理解，以产生关联的领域知识和背景信息（例如生成摘要和相应查询），进一步加强 LLM。离线实验和在线 A/B 测试结果表明，我们的模型在与强大基线方法相比方能取得令人信服的性能。
引用
@article{arxiv.2412.01269,
title = {CPRM: A LLM-based Continual Pre-training Framework for Relevance Modeling in Commercial Search},
author = {Kaixin Wu and Yixin Ji and Zeyuan Chen and Qiang Wang and Cunxiang Wang and Hong Liu and Baijun Ji and Jia Xu and Zhongyi Liu and Jinjie Gu and Yuan Zhou and Linjian Mo},
journal= {arXiv preprint arXiv:2412.01269},
year = {2025}
}
备注
NAACL 2025