推荐系统中的单次嵌入维度搜索
信息检索
2022-04-18 v2
摘要
作为大多数现代深度推荐系统的关键组成部分，特征嵌入将高维稀疏的用户/物品特征映射到低维稠密嵌入。然而，这些嵌入通常被赋予统一的维度，这存在以下问题：(1) 高内存占用和计算成本。(2) 由于维度分配不佳导致次优性能。为了缓解上述问题，一些工作专注于自动嵌入维度搜索，将其形式化为超参数优化或嵌入剪枝问题。然而，它们要么需要精心设计的超参数搜索空间，要么需要耗时的优化过程。在本文中，我们提出了一种称为 SSEDS 的单次嵌入维度搜索方法，它能够通过一次嵌入剪枝操作高效地为每个特征域分配维度，同时保持模型的推荐精度。具体来说，它引入了一个准则来识别每个特征域中每个嵌入维度的重要性。因此，SSEDS 可以根据相应的维度重要性排序和预定义的参数预算，通过显式减少冗余嵌入维度来自动获得混合维度嵌入。此外，所提出的 SSEDS 是模型无关的，这意味着它可以集成到不同的基础推荐模型中。在两个广泛使用的点击率预测任务公开数据集上进行了广泛的离线实验，结果表明，即使减少了 90% 的参数，SSEDS 仍然可以实现强大的推荐性能。此外，SSEDS 也已部署在微信订阅号平台上用于实际推荐服务。为期 7 天的在线 A/B 测试结果表明，SSEDS 能够显著提升在线推荐模型的性能。
引用
@article{arxiv.2204.03281,
title = {Single-shot Embedding Dimension Search in Recommender System},
author = {Liang Qu and Yonghong Ye and Ningzhi Tang and Lixin Zhang and Yuhui Shi and Hongzhi Yin},
journal= {arXiv preprint arXiv:2204.03281},
year = {2022}
}