面向大规模推荐系统的分布式等价替换训练
机器学习
2020-06-02 v5 信息检索
机器学习
摘要
我们提出分布式等价替换（DES）训练，一种针对具有动态稀疏特征的大规模推荐系统的新型分布式训练框架。DES通过减少通信，首次将全同步训练引入大规模推荐系统，从而使商业推荐系统的训练收敛更快并达到更好的点击率（CTR）。DES用计算等价的子算子替换权重丰富的算子，并聚合部分结果而非直接通过网络传输巨大的稀疏权重，从而大幅减少通信量。由于在大规模深度学习推荐模型（DLRMs）上使用了同步训练，DES实现了更高的AUC（ROC曲线下面积）。我们成功将DES训练应用于工业场景中的多个流行DLRM。实验表明，我们的实现优于最先进的基于参数服务器（PS）的训练框架，与其他基于PS的推荐系统相比，实现了高达68.7%的通信节省和更高的吞吐量。
引用
@article{arxiv.1909.04823,
title = {Distributed Equivalent Substitution Training for Large-Scale Recommender Systems},
author = {Haidong Rong and Yangzihao Wang and Feihu Zhou and Junjie Zhai and Haiyang Wu and Rui Lan and Fan Li and Han Zhang and Yuekui Yang and Zhenyu Guo and Di Wang},
journal= {arXiv preprint arXiv:1909.04823},
year = {2020}
}
备注
Accepted by SIGIR '2020. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020