重新思考用于序列推荐的大语言模型架构
信息检索
2024-02-16 v1
摘要
近年来，序列推荐已被适配到大语言模型（LLM）范式，以享受 LLM 的强大能力。基于 LLM 的方法通常将推荐信息转化为自然语言，并以自回归方式训练模型预测下一个项目。尽管取得了显著成功，但推理过程中巨大的计算开销对其实际应用构成了重大障碍。在这项工作中，我们致力于精简现有的基于 LLM 的推荐模型，并提出一个简单但高效的模型 Lite-LLM4Rec。Lite-LLM4Rec 的主要目标是实现序列推荐任务的高效推理。Lite-LLM4Rec 通过使用直接的项目投影头生成排序分数，从而避免了束搜索解码。这一设计源于我们的经验观察：束搜索解码对于序列推荐最终是不必要的。此外，Lite-LLM4Rec 引入了一种层次化 LLM 结构，专门用于高效处理与项目相关的广泛上下文信息，从而在享受 LLM 能力的同时减少计算开销。在三个公开数据集上的实验证实了 Lite-LLM4Rec 在性能和推理效率方面的有效性（特别是在 ML-1m 上，性能提升 46.8%，效率提升 97.28%），优于现有的基于 LLM 的方法。我们的实现将开源。
引用
@article{arxiv.2402.09543,
title = {Rethinking Large Language Model Architectures for Sequential Recommendations},
author = {Hanbing Wang and Xiaorui Liu and Wenqi Fan and Xiangyu Zhao and Venkataramana Kini and Devendra Yadav and Fei Wang and Zhen Wen and Jiliang Tang and Hui Liu},
journal= {arXiv preprint arXiv:2402.09543},
year = {2024}
}
备注
8 pages, 5 figures, conference