Persia：一个开放、混合系统，将基于深度学习的推荐系统扩展至 100 万亿参数
机器学习
2021-11-24 v3 分布式、并行与集群计算
摘要
基于深度学习的模型已主导当前生产推荐系统的格局。此外，近年来模型规模呈指数级增长——从谷歌 2016 年含 10 亿参数的模型到最新脸书含 12 万亿参数的模型。模型容量的每次跃升都带来了显著的质量提升，这使我们认为 100 万亿参数时代已临近。然而，即便在工业级数据中心内，此类模型的训练也具挑战性。该困难源于训练计算惊人的异构性——模型的嵌入层可占模型总大小的 99.99% 以上，极其耗费内存；而其余神经网络则日益耗费计算。为支持如此巨大模型的训练，亟需高效的分布式训练系统。本文中，我们通过优化算法与分布式系统架构的精心协同设计解决了该挑战。具体而言，为保障训练效率与训练精度，我们设计了一种新颖的混合训练算法，其中嵌入层与稠密神经网络由不同同步机制处理；随后我们构建了名为 Persia（并行推荐训练系统 with 混合加速的缩写）的系统以支持该混合训练算法。我们进行了理论论证及高达 100 万亿参数的实证研究，以佐证 Persia 的系统设计与实现。我们将 Persia 公开可用（https://github.com/PersiaML/Persia），以便任何人都能轻松训练规模达 100 万亿参数的推荐模型。
引用
@article{arxiv.2111.05897,
title = {Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion Parameters},
author = {Xiangru Lian and Binhang Yuan and Xuefeng Zhu and Yulong Wang and Yongjun He and Honghuan Wu and Lei Sun and Haodong Lyu and Chengjun Liu and Xing Dong and Yiqiao Liao and Mingnan Luo and Congfei Zhang and Jingru Xie and Haonan Li and Lei Chen and Renjie Huang and Jianying Lin and Chengchun Shu and Xuezhong Qiu and Zhishan Liu and Dongying Kong and Lei Yuan and Hai Yu and Sen Yang and Ce Zhang and Ji Liu},
journal= {arXiv preprint arXiv:2111.05897},
year = {2021}
}