DeepSpeed-Chat：在全规模下对类ChatGPT模型进行简便、快速且经济的RLHF训练

Zhewei Yao; Reza Yazdani Aminabadi; Olatunji Ruwase; Samyam Rajbhandari; Xiaoxia Wu; Ammar Ahmad Awan; Jeff Rasley; Minjia Zhang; Conglong Li; Connor Holmes; Zhongzhu Zhou; Michael Wyatt; Molly Smith; Lev Kurilenko; Heyang Qin; Masahiro Tanaka; Shuai Che; Shuaiwen Leon Song; Yuxiong He

DeepSpeed-Chat：在全规模下对类ChatGPT模型进行简便、快速且经济的RLHF训练

机器学习 2023-08-04 v1 人工智能计算与语言

作者: Zhewei Yao , Reza Yazdani Aminabadi , Olatunji Ruwase , Samyam Rajbhandari , Xiaoxia Wu , Ammar Ahmad Awan , Jeff Rasley , Minjia Zhang , Conglong Li , Connor Holmes , Zhongzhu Zhou , Michael Wyatt , Molly Smith , Lev Kurilenko , Heyang Qin , Masahiro Tanaka , Shuai Che , Shuaiwen Leon Song , Yuxiong He

在 arXiv 上查看 ↗ PDF ↗

摘要

类ChatGPT模型已经革新了人工智能中的各种应用，从摘要、编码到翻译，达到甚至超越人类表现。然而，当前缺乏一个可访问、高效且经济高效的端到端RLHF(基于人类反馈的强化学习)训练流水线来训练这些强大模型，尤其是在以数十亿参数规模训练时。本文介绍DeepSpeed-Chat，一个使RLHF训练平民化、让AI社区可使用的新型系统。DeepSpeed-Chat提供三项关键能力：类ChatGPT模型的易用训练和推理体验、复现InstructGPT训练流水线的DeepSpeed-RLHF流水线，以及将各种训练和推理优化统一结合的健壮DeepSpeed-RLHF系统。该系统提供无与伦比的效率和可扩展性，能够以创纪录的时间和极低成本训练数千亿参数的模型。借助这一进展，DeepSpeed-Chat为更广泛的先进RLHF训练铺平了道路，即使资源有限的数据科学家也能使用，从而推动AI领域的创新和进一步发展。

关键词

RLHF 类ChatGPT模型 DeepSpeed-Chat 基于人类反馈的强化学习模型训练可扩展性

引用

@article{arxiv.2308.01320,
  title  = {DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales},
  author = {Zhewei Yao and Reza Yazdani Aminabadi and Olatunji Ruwase and Samyam Rajbhandari and Xiaoxia Wu and Ammar Ahmad Awan and Jeff Rasley and Minjia Zhang and Conglong Li and Connor Holmes and Zhongzhu Zhou and Michael Wyatt and Molly Smith and Lev Kurilenko and Heyang Qin and Masahiro Tanaka and Shuai Che and Shuaiwen Leon Song and Yuxiong He},
  journal= {arXiv preprint arXiv:2308.01320},
  year   = {2023}
}

备注

14 pages, 7 figures

DeepSpeed-Chat：在全规模下对类ChatGPT模型进行简便、快速且经济的RLHF训练

摘要

关键词

引用

备注

相关论文