RecRanker：指令微调大语言模型作为Top-k推荐排序器
信息检索
2024-04-02 v3
摘要
大语言模型（LLMs）已展现出卓越的能力，并广泛应用于包括推荐系统在内的各个领域。先前的研究利用专门的提示（prompts）来发挥LLMs的上下文学习能力以进行推荐。最近的研究采用指令微调技术使LLMs与人类偏好对齐，有望实现更有效的推荐。然而，现有方法存在若干局限性。由于低质量的微调数据以及忽略传统推荐信号的整合，LLMs的全部潜力未能充分激发。此外，LLMs可能对推荐中不同的排序任务生成不一致的响应，可能导致不可靠的结果。本文介绍RecRanker，专为指令微调LLMs以充当Top-k推荐的排序器（Ranker）而设计。具体而言，我们引入自适应采样模块来采样高质量、有代表性且多样化的训练数据。为增强提示，我们引入位置偏移策略以减轻位置偏差，并用传统推荐模型的辅助信息增强提示，从而丰富LLM的上下文理解。随后，我们利用采样数据构建一个包含三种不同排序任务（逐点排序、成对排序和列表排序）的指令微调数据集。我们进一步提出一种混合排序方法，通过集成这些排序任务来提升模型性能。我们的实证评估表明，所提出的RecRanker在直接推荐和序列推荐场景中均有效。
引用
@article{arxiv.2312.16018,
title = {RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation},
author = {Sichun Luo and Bowei He and Haohan Zhao and Wei Shao and Yanlin Qi and Yinya Huang and Aojun Zhou and Yuxuan Yao and Zongpeng Li and Yuanzhang Xiao and Mingjie Zhan and Linqi Song},
journal= {arXiv preprint arXiv:2312.16018},
year = {2024}
}