Merlin HugeCTR：GPU 加速的推荐系统训练与推理
分布式、并行与集群计算
2022-10-18 v1 人工智能
信息检索
机器学习
摘要
在本次报告中，我们介绍 Merlin HugeCTR。Merlin HugeCTR 是一个开源、GPU 加速的点击率预估集成框架。它同时优化训练与推理，并借助模型并行嵌入与数据并行神经网络实现大规模模型训练。特别地，Merlin HugeCTR 将高性能 GPU 嵌入缓存与分层存储架构相结合，以实现在线模型推理任务中嵌入的低延迟检索。在 MLPerf v1.0 DLRM 模型训练基准测试中，Merlin HugeCTR 在单台 DGX A100（8×A100）上相比 4×4 插槽 CPU 节点（4×4×28 核）上的 PyTorch 实现了最高 24.6 倍的加速。Merlin HugeCTR 也可利用多节点环境进一步加速训练。自 2021 年末起，Merlin HugeCTR 新增了分层参数服务器（HPS）并支持通过 NVIDIA Triton 服务器框架部署，以利用 GPU 的计算能力实现高速推荐模型推理。使用该 HPS，Merlin HugeCTR 用户可在热门推荐模型上相比 CPU 基线实现 5~62 倍（依赖于批大小）的加速，并大幅降低端到端推理延迟。
引用
@article{arxiv.2210.08803,
title = {Merlin HugeCTR: GPU-accelerated Recommender System Training and Inference},
author = {Joey Wang and Yingcan Wei and Minseok Lee and Matthias Langer and Fan Yu and Jie Liu and Alex Liu and Daniel Abel and Gems Guo and Jianbing Dong and Jerry Shi and Kunlun Li},
journal= {arXiv preprint arXiv:2210.08803},
year = {2022}
}
备注
4 pages