中文

推荐即语言处理 (RLP):统一的预训练、个性化提示与预测范式 (P5)

信息检索 2023-01-04 v7 人工智能 计算与语言 机器学习

摘要

长期以来,不同的推荐任务通常需要设计特定于任务的架构和训练目标。因此,很难将学到的知识和表征从一个任务迁移到另一个任务,从而限制了现有推荐方法的泛化能力,例如,一个序列推荐模型很难被应用或迁移到评论生成方法中。为了解决这些问题,考虑到语言几乎可以描述任何事物,并且语言基础是表示各种问题或任务的强大媒介,我们提出了一种灵活且统一的文本到文本范式,称为“预训练、个性化提示与预测范式”(P5),用于推荐,它将各种推荐任务统一在一个共享框架中。在 P5 中,所有数据,如用户-物品交互、用户描述、物品元数据和用户评论,都被转换为一种通用格式——自然语言序列。来自自然语言的丰富信息有助于 P5 捕捉更深层次的语义,以实现个性化和推荐。具体来说,P5 在预训练期间使用相同的语言建模目标来学习不同的任务。因此,它可以作为各种下游推荐任务的基础模型,允许与其他模态轻松集成,并支持基于提示的指令式推荐。P5 将推荐系统从浅层模型推进到深层模型再到大模型,并将彻底改变推荐系统的技术形态,使其走向通用推荐引擎。通过为不同用户提供自适应个性化提示,P5 能够以零样本或少样本的方式进行预测,并大大减少了对大量微调的需求。我们在多个推荐基准上进行了实验,以展示 P5 的有效性。我们在 https://github.com/jeykigung/P5 发布了源代码。

关键词

引用

@article{arxiv.2203.13366,
  title  = {Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)},
  author = {Shijie Geng and Shuchang Liu and Zuohui Fu and Yingqiang Ge and Yongfeng Zhang},
  journal= {arXiv preprint arXiv:2203.13366},
  year   = {2023}
}

备注

Accepted to ACM RecSys 2022. The arXiv version is more comprehensive