一种面向序列推荐系统的通用网络压缩框架
信息检索
2020-05-27 v5 机器学习
摘要
序列推荐系统（SRS）已成为捕捉用户动态兴趣并生成高质量推荐的关键技术。当前最先进的序列推荐模型通常基于三明治结构的深度神经网络，即一个或多个中间（隐藏）层被置于输入嵌入层与输出 softmax 层之间。一般而言，这些模型需要大量参数（例如使用大嵌入维度或深层网络结构）以获得最优性能。尽管有效，但在某些情况下，进一步增大模型规模可能使模型难以部署在资源受限设备上，导致更长的响应时间与更大的内存占用。为解决这些问题，我们提出一种称为 CpRec 的压缩序列推荐框架，其中采用了两种通用模型缩减技术。具体而言，我们首先提出块级自适应分解，利用 SRS 中物品服从长尾分布这一事实来近似输入矩阵与 softmax 矩阵。为减少中间层参数，我们引入三种逐层参数共享方案。考虑到推荐精度与效率，我们使用带膨胀核的深度卷积神经网络实例化 CpRec。通过大量消融实验，我们证明所提出的 CpRec 在真实世界 SRS 数据集中可实现高达 48 倍的压缩率。同时，CpRec 在训练/推理时更快，且在多数情况下优于其未压缩的对应模型。
引用
@article{arxiv.2004.13139,
title = {A Generic Network Compression Framework for Sequential Recommender Systems},
author = {Yang Sun and Fajie Yuan and Min Yang and Guoao Wei and Zhou Zhao and Duo Liu},
journal= {arXiv preprint arXiv:2004.13139},
year = {2020}
}
备注
Accepted by SIGIR2020