GPT-NeoX-20B：一个开源自回归语言模型
计算与语言
2022-04-15 v1
摘要
我们介绍了 GPT-NeoX-20B，一个在 Pile 上训练的 200 亿参数自回归语言模型，其权重将通过宽松许可证免费公开提供给公众。据我们所知，它是提交时公开可用权重的最大稠密自回归模型。在这项工作中，我们描述了模型的架构与训练，并评估了其在一系列语言理解、数学和知识类任务上的表现。我们发现 GPT-NeoX-20B 是一个特别强大的少样本推理器，并且在五样本评估下比同等规模的 GPT-3 和 FairSeq 模型性能提升更多。我们在 https://github.com/EleutherAI/gpt-neox 开源了训练与评估代码以及模型权重。
引用
@article{arxiv.2204.06745,
title = {GPT-NeoX-20B: An Open-Source Autoregressive Language Model},
author = {Sid Black and Stella Biderman and Eric Hallahan and Quentin Anthony and Leo Gao and Laurence Golding and Horace He and Connor Leahy and Kyle McDonell and Jason Phang and Michael Pieler and USVSN Sai Prashanth and Shivanshu Purohit and Laria Reynolds and Jonathan Tow and Ben Wang and Samuel Weinbach},
journal= {arXiv preprint arXiv:2204.06745},
year = {2022}
}
备注
To appear in the Proceedings of the ACL Workshop on Challenges & Perspectives in Creating Large Language Models