重新审视神经新闻推荐系统中的语言模型
信息检索
2025-01-22 v1
摘要
神经新闻推荐系统(RS)已集成语言模型(LM),将富含文本信息的新闻文章编码为表示,从而改进推荐过程。大多数研究表明:(i) 与浅层语言模型(SLM)相比,新闻推荐系统在使用更大的预训练语言模型(PLM)时性能更佳;(ii) 大语言模型(LLM)优于 PLM。然而,其他研究表明 PLM 有时反而比 SLM 性能更差。因此,使用更大的语言模型是否始终能提升新闻推荐系统的性能仍不清楚。本文使用真实世界 MIND 数据集,重新审视、统一并扩展了这些关于语言模型在新闻推荐系统中有效性的比较。我们发现:(i) 更大的语言模型并不一定带来新闻推荐系统性能的提升;(ii) 与较小的语言模型相比,它们需要更严格的微调超参数选择和更多的计算资源才能实现最佳推荐性能。积极的一面是,我们的实验表明,更大的语言模型能为冷启动用户带来更好的推荐性能:它们减轻了对大量用户交互历史的依赖,使推荐更依赖于新闻内容。
引用
@article{arxiv.2501.11391,
title = {Revisiting Language Models in Neural News Recommender Systems},
author = {Yuyue Zhao and Jin Huang and David Vos and Maarten de Rijke},
journal= {arXiv preprint arXiv:2501.11391},
year = {2025}
}
备注
16 pages, ECIR 2025, the 47th European Conference on Information Retrieval