用于定制设备端推荐系统的弹性嵌入学习

在当今背景下，由于隐私和网络延迟方面的考量，将数据驱动的服务（如推荐系统）部署在边缘设备而非云服务器上变得愈发具有吸引力。构建紧凑的设备端推荐系统的常见做法是压缩其嵌入，嵌入通常是导致参数过量的原因。然而，尽管设备种类繁多且各自的内存约束不同，现有的内存高效推荐系统在每个设计与训练周期中仅针对固定的内存预算进行专门化，当需适应更小/更大的内存预算时，必须重新训练新模型以获得最优性能。本文提出一种新颖的轻量级推荐范式，允许训练良好的推荐系统针对任意设备特定的内存约束进行定制而无需重新训练。其核心思想是为每项物品组合弹性嵌入，其中弹性嵌入是由自动化搜索函数精心选出的一组嵌入块拼接而成。相应地，我们提出一种创新方法，即基于通用学习的弹性嵌入推荐（RULE）。为确保所有候选嵌入块的表征能力，RULE在学习不同嵌入块时施加了多样性驱动的正则化。随后，设计了基于性能估计的进化搜索函数，可在任意内存约束下高效特化弹性嵌入以用于设备端推荐。在真实数据集上的大量实验揭示了RULE在紧内存预算下的优越性能。