Angel-PTM：腾讯可扩展且经济高效的大规模预训练系统
机器学习
2023-03-07 v1 分布式、并行与集群计算
摘要
近年来，大规模预训练模型尤其是 Transformer 模型取得了前所未有的成就。腾讯公司（Tencent Inc.）的许多产品和服务，如微信、QQ 和腾讯广告，已选择引入预训练模型的能力。在本工作中，我们提出 Angel-PTM，一个用于预训练和微调 Transformer 模型的高效深度学习系统。Angel-PTM 能够通过分层内存高效训练极大规模模型。Angel-PTM 的关键设计是通过 Page 抽象实现的细粒度内存管理，以及协调计算、数据移动和通信的统一调度方法。此外，Angel-PTM 支持借助 SSD 存储的极致模型扩展，并实现无锁更新机制以解决 SSD I/O 带宽瓶颈。实验结果表明，Angel-PTM 在最大模型规模上优于现有系统至多 114.8%，在训练吞吐量上优于现有系统至多 88.9%。此外，在利用数百个 GPU 的 GPT3-175B 和 T5-MoE-1.2T 模型上的实验验证了 Angel-PTM 的强扩展性。
引用
@article{arxiv.2303.02868,
title = {Angel-PTM: A Scalable and Economical Large-scale Pre-training System in Tencent},
author = {Xiaonan Nie and Yi Liu and Fangcheng Fu and Jinbao Xue and Dian Jiao and Xupeng Miao and Yangyu Tao and Bin Cui},
journal= {arXiv preprint arXiv:2303.02868},
year = {2023}
}