预训练、提示与推荐：推荐系统中语言建模范式适配的全面综述
信息检索
2023-09-14 v3
摘要
预训练语言模型（PLMs）的出现通过在大规模语料上以自监督方式学习通用表示，在自然语言处理（NLP）领域取得了巨大成功。预训练模型及其学到的表示有益于一系列下游NLP任务。这一训练范式近来被适配到推荐领域，并被学术界与工业界视为一种有前景的方法。本文中，我们系统性地探究如何从不同视角（如通用性、稀疏性、效率与有效性）提取并迁移由不同PLM相关训练范式学到的预训练模型中的知识，以提升推荐性能。具体而言，我们提出一个全面分类法，依据训练策略与目标对现有基于PLM的推荐系统进行划分。随后，我们分析并总结了基于PLM的训练范式与推荐系统不同输入数据类型之间的联系。最后，我们详述了这一充满活力领域的开放问题与未来研究方向。
引用
@article{arxiv.2302.03735,
title = {Pre-train, Prompt and Recommendation: A Comprehensive Survey of Language Modelling Paradigm Adaptations in Recommender Systems},
author = {Peng Liu and Lemei Zhang and Jon Atle Gulla},
journal= {arXiv preprint arXiv:2302.03735},
year = {2023}
}
备注
Accepted for publication at Transactions of the Association for Computational Linguistics (TACL) in September 2023