通过渐进式检索行为增强提示提升 LLM 驱动的相关性建模
信息检索
2024-12-09 v2 人工智能
摘要
相关性建模是增强搜索引擎用户体验的关键组件，其主要目标是识别与用户查询相匹配的项目。传统模型仅依赖查询与项目之间的语义一致性来判断相关性。然而，这种方法仅代表了相关性判断的一个方面，单独来看是不充分的。即使是强大的大语言模型（LLMs）也无法仅从语义角度准确判断查询与项目的相关性。为增强 LLM 驱动的相关性建模，本研究提出利用搜索日志中记录的用户交互来获取用户隐式搜索意图的洞察。挑战在于有效提示 LLMs 以捕捉动态搜索意图，这在现实相关性场景中面临若干障碍，即领域特定知识的缺失、孤立提示的不足以及部署 LLMs 的高昂成本。作为回应，我们提出 ProRBP，一种渐进式检索行为增强提示框架，用于有效整合面向搜索场景的知识与 LLMs。具体而言，我们从每日搜索日志中执行用户驱动的行为邻居检索，以及时获取领域特定知识，检索用户认为符合其期望的候选。然后，我们通过先进的提示技术引导 LLMs 进行相关性建模，逐步改善 LLMs 的输出，随后进行渐进式聚合并全面考虑多个方面。对于在线服务，我们开发了一个面向 LLMs 在相关性建模中部署的工业应用框架。在真实行业数据和在线 A/B 测试上的实验证明了我们所提方案的有效性能。
引用
@article{arxiv.2408.09439,
title = {Towards Boosting LLMs-driven Relevance Modeling with Progressive Retrieved Behavior-augmented Prompting},
author = {Zeyuan Chen and Haiyan Wu and Kaixin Wu and Wei Chen and Mingjie Zhong and Jia Xu and Zhongyi Liu and Wei Zhang},
journal= {arXiv preprint arXiv:2408.09439},
year = {2024}
}
备注
Accepted By COLING 2025