面向设备端推荐的个性化弹性嵌入学习
信息检索
2023-11-17 v4
摘要
为应对隐私关切并降低网络延迟，近期出现了将云端训练的负担沉重推荐模型压缩并部署至资源受限设备以实现实时推荐的趋势。现有方案普遍忽视设备异构性与用户异构性。它们要求相同预算的设备共享同一模型，并假定可用设备资源（如内存）恒定，这并不符合现实。考虑到设备与用户异构性以及动态资源约束，本文提出一种用于设备端推荐的个性化弹性嵌入学习框架(PEEL)，它以一次训练处处可用(once-for-all)方式为具有不同内存预算的设备生成个性化弹性嵌入(PEEs)，适应新的或动态预算，并通过为不同用户组分配个性化嵌入来解决用户偏好多样性。具体而言，它利用收集的用户-物品交互实例预训练全局嵌入表并聚类用户为若干组。随后，它利用各组内局部交互实例精炼嵌入表。PEEs由分组嵌入块及其指示各嵌入块对局部推荐性能贡献的权重生成。给定内存预算，PEEL通过选择权重最大的嵌入块高效生成PEEs，使其能适应设备上动态内存预算。此外，实现了多样性驱动正则化器以鼓励嵌入块的表达能力，并利用控制器优化权重。我们在两个公开数据集上开展充分实验，结果表明PEEL在具有异构与动态内存预算的设备上取得优越性能。
引用
@article{arxiv.2306.10532,
title = {Personalized Elastic Embedding Learning for On-Device Recommendation},
author = {Ruiqi Zheng and Liang Qu and Tong Chen and Kai Zheng and Yuhui Shi and Hongzhi Yin},
journal= {arXiv preprint arXiv:2306.10532},
year = {2023}
}