面向高效且有效的序列推荐大语言模型适配
信息检索
2023-10-04 v1
摘要
近年来，随着大语言模型（LLMs）在上下文理解上取得最先进的性能，越来越多的研究致力于开发 LLM 增强的序列推荐（SR）方法。考虑到大多数现有 LLM 并非针对推荐任务专门优化，将其适配于 SR 成为 LLM 增强 SR 方法中的关键步骤。尽管已提出众多适配方法，如何同时实现高效且有效的 LLM 适配用于 SR 仍是一项重大挑战。为应对该挑战，本文提出一种新颖的侧面序列网络适配方法，记为 SSNA，用于 LLM 增强的 SR。SSNA 具有三个关键设计以实现高效且有效的 LLM 适配。首先，SSNA 学习与 LLM 分离的适配器，同时固定 LLM 内所有预训练参数以实现高效适配。此外，SSNA 联合适配 LLM 的 top-a 层，并顺序集成适配器以提升有效性（即推荐性能）。我们在五个基准数据集上使用三个 LLM，将 SSNA 与五种最先进的基线方法进行比较。实验结果表明，SSNA 在推荐性能上显著优于所有基线方法，并在训练时的运行时间和内存效率上相较最佳基线方法取得实质性提升。我们的分析显示了以顺序方式集成适配器的有效性。我们的参数研究证明了联合适配 LLM top-a 层的有效性。
引用
@article{arxiv.2310.01612,
title = {Towards Efficient and Effective Adaptation of Large Language Models for Sequential Recommendation},
author = {Bo Peng and Ben Burns and Ziqi Chen and Srinivasan Parthasarathy and Xia Ning},
journal= {arXiv preprint arXiv:2310.01612},
year = {2023}
}