通过正则化剪枝学习紧凑组合嵌入用于推荐
信息检索
2023-09-11 v2
摘要
潜在因子模型因其性能优势成为当代推荐系统（RSs）的主流骨干，其中每个实体（通常是用户/物品）都需要一个固定维度（如128）的唯一向量嵌入来表示。由于电商网站上用户和物品数量庞大，嵌入表可以说是RSs中内存效率最低的组件。对于任何旨在随用户/物品规模增长高效扩展或需在资源受限环境下适用的轻量推荐器，现有方案或通过哈希减少所需嵌入数量，或稀疏化完整嵌入表以关闭选定嵌入维度。然而，随着哈希冲突出现或嵌入变得过度稀疏，尤其在适配更紧内存预算时，那些轻量推荐器不可避免地要牺牲其准确率。为此，我们提出一种新颖的RSs紧凑嵌入框架，即正则化剪枝组合嵌入（CERP）。具体而言，CERP通过组合来自两个独立且显著更小的元嵌入表的成对嵌入来表示每个实体，随后通过可学习的逐元素阈值联合剪枝。此外，我们在CERP中创新设计正则化剪枝机制，使两个稀疏化元嵌入表被鼓励编码互为互补的信息。鉴于其与任意潜在因子模型的兼容性，我们将CERP与两种流行推荐模型配对进行大量实验，在不同内存预算下两个真实数据集上的结果展示了其相对于state-of-the-art基线的优越性。CERP的代码库见于https://github.com/xurong-liang/CERP。
引用
@article{arxiv.2309.03518,
title = {Learning Compact Compositional Embeddings via Regularized Pruning for Recommendation},
author = {Xurong Liang and Tong Chen and Quoc Viet Hung Nguyen and Jianxin Li and Hongzhi Yin},
journal= {arXiv preprint arXiv:2309.03518},
year = {2023}
}
备注
Accepted by ICDM'23