Saec：推荐系统中的相似性感知嵌入压缩
信息检索
2019-03-04 v1 机器学习
机器学习
摘要
生产级推荐系统依赖嵌入方法表示各类特征。实践中一个棘手挑战是，随着特征数量随时间增长，庞大的嵌入矩阵在提供服务时带来可观的内存占用。我们提出一种称为 Saec 的相似性感知嵌入矩阵压缩方法来应对该挑战。Saec 将同一 field（字段）内的相似特征聚类以缩减嵌入矩阵规模。Saec 还采用基于特征频率的快速聚类优化，大幅缩短聚类时间。我们在腾讯的生产分布式机器学习系统 Numerous 上，利用来自 QQ 手机浏览器的 10 天特征数据实现并评估了 Saec。测试实验表明，Saec 将嵌入向量数量减少两个数量级，将嵌入尺寸压缩约 27 倍，并保持相同的 AUC 与 log loss 性能。
引用
@article{arxiv.1903.00103,
title = {Saec: Similarity-Aware Embedding Compression in Recommendation Systems},
author = {Xiaorui Wu and Hong Xu and Honglin Zhang and Huaming Chen and Jian Wang},
journal= {arXiv preprint arXiv:1903.00103},
year = {2019}
}