StackRec：通过迭代堆叠高效训练极深序列推荐模型
信息检索
2021-05-13 v2 机器学习
摘要
深度学习为序列推荐（SR）任务带来了巨大进展。借助先进的网络架构，序列推荐模型可堆叠许多隐藏层，例如在真实推荐数据集上多达 100 层。训练如此深的网络是困难的，因为它在计算上可能非常昂贵且耗时更长，尤其在存在数百亿用户-物品交互的情况下。为应对这一挑战，我们提出 StackRec，一种简单却高效且有效的深度 SR 模型迭代层堆叠训练框架。具体而言，我们首先给出一个重要发现：训练良好的深度 SR 模型中的隐藏层/块具有非常相似的分布。受此启发，我们对预训练层/块提出堆叠操作，以将知识从较浅模型迁移到深层模型，随后执行迭代堆叠，从而得到更深但更易训练的 SR 模型。我们通过将 StackRec 实例化到四种最先进 SR 模型上，并在三个真实数据集的实际场景中验证其性能。大量实验表明，与从头训练的 SR 模型相比，StackRec 不仅取得可比的性能，还在训练时间上大幅加速。代码见 https://github.com/wangjiachun0426/StackRec。
引用
@article{arxiv.2012.07598,
title = {StackRec: Efficient Training of Very Deep Sequential Recommender Models by Iterative Stacking},
author = {Jiachun Wang and Fajie Yuan and Jian Chen and Qingyao Wu and Min Yang and Yang Sun and Guoxiao Zhang},
journal= {arXiv preprint arXiv:2012.07598},
year = {2021}
}