面向鲁棒 Top-k 推荐的大语言模型高效与负责任适配
信息检索
2024-05-03 v1 人机交互
摘要
传统推荐系统(RSs)通常被优化以在所有训练样本上均匀提升性能指标。由于不同用户具有各异的属性,这使得数据驱动的 RSs 难以满足多样化的用户群体。各群体间的性能差异会损害模型对子群体的鲁棒性。尽管近期工作在适配大语言模型(LLMs)以解决困难样本方面展现出可喜的结果,但来自数百万用户的冗长查询会降低 LLMs 的性能,并增加成本、处理时间和推理延迟。这对 LLMs 在推荐中的实际适用性提出了挑战。为了解决这一问题,我们提出了一种混合任务分配框架,利用 LLMs 和传统 RSs 双方的能力。通过采用两阶段方法来提升对子群体的鲁棒性,我们推动了战略性任务分配,以实现 LLMs 的高效与负责任适配。我们的策略首先识别出由 RSs 获得次优排序性能的弱势和不活跃用户。接着,我们对这类用户采用上下文学习方法,将每个用户的交互历史情境化为一个独立的排序任务并交给 LLM。我们通过整合多种推荐算法——协同过滤和排序学习推荐模型——以及两种 LLMs——开源和闭源模型——来测试我们的混合框架。我们在三个真实世界数据集上的结果显示,弱势用户显著减少,RSs 对子群体的鲁棒性提升了约 ,且在不按比例增加成本的情况下提升了整体性能。
引用
@article{arxiv.2405.00824,
title = {Efficient and Responsible Adaptation of Large Language Models for Robust Top-k Recommendations},
author = {Kirandeep Kaur and Chirag Shah},
journal= {arXiv preprint arXiv:2405.00824},
year = {2024}
}