面向超大规模深度学习广告系统的分布式分层 GPU 参数服务器
分布式、并行与集群计算
2020-03-13 v1 机器学习
机器学习
摘要
广告系统的神经网络通常从多个来源获取输入，例如查询-广告相关性、广告特征以及用户画像。这些输入被编码为 one-hot 或 multi-hot 二值特征，通常每个样本仅有极小比例的非零特征值。在线广告行业的深度学习模型可具有太字节规模的参数，无法放入计算节点上的 GPU 显存或 CPU 主存中。例如，一个赞助在线广告系统可包含超过 个稀疏特征，使神经网络成为一个约 10 TB 参数的巨型模型。本文提出一种面向超大规模深度学习广告系统的分布式 GPU 分层参数服务器。我们提出了一种分层工作流，利用 GPU 高带宽内存、CPU 主存和 SSD 作为三层分层存储。所有神经网络训练计算均在 GPU 内完成。基于真实数据的大量实验验证了所提系统的有效性与可扩展性。一个 4 节点分层 GPU 参数服务器训练模型的速度比 MPI 集群中 150 节点内存分布式参数服务器快 2 倍以上。此外，我们所提系统的性价比比 MPI 集群方案好 4–9 倍。
引用
@article{arxiv.2003.05622,
title = {Distributed Hierarchical GPU Parameter Server for Massive Scale Deep Learning Ads Systems},
author = {Weijie Zhao and Deping Xie and Ronglai Jia and Yulei Qian and Ruiquan Ding and Mingming Sun and Ping Li},
journal= {arXiv preprint arXiv:2003.05622},
year = {2020}
}