LLM4PR：利用大型语言模型改进搜索引擎中的后排序
信息检索
2024-11-05 v1
摘要
随着大型语言模型（LLM）的快速发展，越来越多 efforts 被投入到将LLM技术集成到信息检索（IR）和搜索引擎（SE）中。最近，建议在SE中增加一个后排序阶段以提升实际应用中的用户满意度。然而，通过LLM增强后排序阶段的研究仍 largely 未被探索。在本研究中，我们提出了一种名为 LLM4PR（搜索引擎中的大型语言模型后排序）的新范式，利用LLM的能力来完成SE中的后排序任务。具体而言，设计了一个查询引导适配器（QIA）模块，通过整合用户/项目的异构特征来推导用户/项目表示向量。进一步引入了一个特征适配步骤，以将用户/项目表示的语义与LLM对齐。最后，LLM4PR整合了一个学习后排序步骤，利用主任务和辅助任务来微调模型以适配后排序任务。实验研究表明，所提出的框架带来了显著改进，并在与其他替代方案的比较中展现出最先进的性能。
引用
@article{arxiv.2411.01178,
title = {LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models},
author = {Yang Yan and Yihao Wang and Chi Zhang and Wenyuan Hou and Kang Pan and Xingkai Ren and Zelun Wu and Zhixin Zhai and Enyun Yu and Wenwu Ou and Yang Song},
journal= {arXiv preprint arXiv:2411.01178},
year = {2024}
}