面向推荐系统的内存高效嵌入
信息检索
2020-10-23 v2
摘要
实际的大规模推荐系统通常包含来自用户、物品、上下文信息及其交互的数千个特征域。大多数系统经验性地为所有特征域分配统一维度，这导致内存效率低下。因此，非常需要根据特征域的重要性和可预测性为其分配不同的嵌入维度。由于特征域数量庞大，且嵌入维度与特征分布和神经网络架构之间存在微妙关系，在实际推荐系统中手动分配嵌入维度可能非常困难。为此，本文提出一种基于AutoML的框架（AutoDim），能够以数据驱动的方式自动为不同特征域选择维度。具体而言，我们首先提出一个端到端可微框架，可通过基于AutoML的优化算法以软且连续的方式计算各特征域在不同维度上的权重；然后根据最大权重导出硬且离散的嵌入组件架构，并重新训练整个推荐框架。我们在基准数据集上进行了大量实验以验证AutoDim框架的有效性。
引用
@article{arxiv.2006.14827,
title = {Memory-efficient Embedding for Recommendations},
author = {Xiangyu Zhao and Haochen Liu and Hui Liu and Jiliang Tang and Weiwei Guo and Jun Shi and Sida Wang and Huiji Gao and Bo Long},
journal= {arXiv preprint arXiv:2006.14827},
year = {2020}
}