在大型语言模型时代，评论对推荐还重要吗？
信息检索
2025-12-16 v1
摘要
随着大型语言模型的出现，推荐系统的格局正在经历重大变革。传统上，用户评论一直作为丰富且上下文相关的信息来源，用于提升推荐质量。然而，由于 LLM 展现出前所未有的理解和生成类人文本的能力，这引发了一个问题：在 LLM 时代，显式的用户评论是否仍然不可或缺。本文通过比较深度学习方法和 LLM 方法，对文本评论在推荐中不断演变的角色进行了系统研究。特别是，我们在八个公开数据集上使用 LLM 进行了大量实验，并评估了它们在零样本、少样本和微调场景下的性能。我们进一步引入了一个面向评论的推荐系统基准评估框架 RAREval，以全面评估文本评论对面向评论的推荐系统推荐性能的贡献。我们的框架考察了各种场景，包括移除部分或全部文本评论、随机扰动，以及在数据稀疏和冷启动用户设置下的推荐性能。我们的研究结果表明，LLM 能够作为有效的面向评论的推荐引擎，通常优于传统的深度学习方法，特别是在数据稀疏和冷启动条件下的场景。此外，移除部分或全部文本评论以及随机扰动并不一定会导致推荐准确率的下降。这些发现促使我们重新思考如何更有效地利用文本评论中的用户偏好。所有代码和补充材料可在以下地址获取：https://github.com/zhytk/RAREval-data-processing。
引用
@article{arxiv.2512.12978,
title = {Do Reviews Matter for Recommendations in the Era of Large Language Models?},
author = {Chee Heng Tan and Huiying Zheng and Jing Wang and Zhuoyi Lin and Shaodi Feng and Huijing Zhan and Xiaoli Li and J. Senthilnath},
journal= {arXiv preprint arXiv:2512.12978},
year = {2025}
}
备注
11 pages, 9 figures, 3 tables