只需架构：通过去除文本提升大语言模型推荐系统性能
信息检索
2025-06-23 v1
摘要
近年来，大预训练语言模型(PLMs)应用于推荐系统的研究兴趣激增，许多研究在常用基准数据集上显示出PLMs具有卓越的性能。基于PLMs的推荐模型受益于灵活可定制的提示技术、无限制的可推荐物品词汇表，以及通过在大规模文本语料库上预训练获得的通用“世界知识”。虽然基于PLMs的推荐模型在数据有限的场景中表现有前景，但由于其庞大的数据量和计算成本，在实际应用中难以实现。此外，针对协同信号进行微调的PLMs可能会损害模型对世界知识和通用性的容量。我们提出了一种推荐模型，该模型使用大语言模型(LLMs)的架构，但减少层数和维度，同时将典型LLM的基于文本的子词标记化替换为唯一表示单个内容物品的离散标记。我们发现，这种简化方法在PLM模型规模和计算复杂度的极小比例下，显著优于传统序列推荐模型和PLM-based推荐模型。我们的结果表明，LLMs在推荐系统中的主要优势在于其架构，而非通过大规模预训练获得的世界知识。
引用
@article{arxiv.2506.15833,
title = {Architecture is All You Need: Improving LLM Recommenders by Dropping the Text},
author = {Kevin Foley and Shaghayegh Agah and Kavya Priyanka Kakinada},
journal= {arXiv preprint arXiv:2506.15833},
year = {2025}
}
备注
7 pages, 1 figure