利用去中心化混合专家进行众包训练大型神经网络
分布式、并行与集群计算
2021-07-02 v3 机器学习
机器学习
摘要
深度学习中许多近期突破通过在海量数据集上训练越来越大的模型实现。然而，训练此类模型可能昂贵得令人望而却步。例如，用于训练 GPT-3 的集群耗资超过 2.5 亿美元。因此，大多数研究者无力负担训练最先进模型并为其发展做出贡献。假设上，研究者可以利用志愿者提供的数千台普通 PC 众包训练大型神经网络。十万台 $2500 台式机的原始算力令 $250M 服务器舱相形见绌，但用常规分布式训练方法无法高效利用该算力。本工作中，我们提出 Learning@home：一种设计用于处理大量弱连接参与者的新颖神经网络训练范式。我们分析了该范式的性能、可靠性与架构约束，并与现有分布式训练技术进行比较。
引用
@article{arxiv.2002.04013,
title = {Towards Crowdsourced Training of Large Neural Networks using Decentralized Mixture-of-Experts},
author = {Max Ryabinin and Anton Gusev},
journal= {arXiv preprint arXiv:2002.04013},
year = {2021}
}
备注
Advances in Neural Information Processing Systems, 2020. Code URL: https://github.com/mryab/learning-at-home. 16 pages, 6 figures