从序列行为中进行参数高效迁移以用于用户建模与推荐
信息检索
2020-06-11 v4 机器学习
摘要
归纳式迁移学习在计算机视觉和自然语言处理领域已产生重大影响，但尚未用于推荐系统领域。尽管已有大量基于用户-物品交互序列建模生成推荐的研究，但其中极少尝试表示并迁移这些模型以服务于仅存在有限数据的下游任务。在本文中，我们深入研究了有效学习单一用户表示并应用于从跨域推荐到用户画像预测等多种任务的问题。微调大型预训练网络并使其适应下游任务是解决此类任务的有效方法。然而，考虑到每个新任务都需要重新训练整个模型，微调在参数上效率低下。为克服该问题，我们提出了一种参数高效迁移学习架构，称为 PeterRec，其可即时配置到各种下游任务。具体而言，PeterRec 通过注入一系列重新学习的神经网络（这些网络规模小但具有与学习整个网络同等的表达能力），使预训练参数在微调期间保持不变。我们进行了广泛的实验消融，以展示所学用户表示在五个下游任务中的有效性。此外，我们表明 PeterRec 在多个领域实现了高效迁移学习，其性能可与微调整个模型参数相媲美，有时甚至更优。代码与数据集见 https://github.com/fajieyuan/sigir2020_peterrec。
引用
@article{arxiv.2001.04253,
title = {Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation},
author = {Fajie Yuan and Xiangnan He and Alexandros Karatzoglou and Liguang Zhang},
journal= {arXiv preprint arXiv:2001.04253},
year = {2020}
}