FoundationLayerNorm：将 BERT 与 GPT 扩展至 1000 层
计算与语言
2022-04-12 v1 人工智能
摘要
主流的 BERT/GPT 模型仅包含 10 到 20 层，且鲜有文献讨论深层 BERT/GPT 的训练。本文提出一种简单而有效的方法来稳定 BERT 和 GPT 的训练。我们成功将 BERT 和 GPT 扩展至 1000 层，比以往的 BERT 和 GPT 深一个数量级。所提出的方法 FoundationLayerNormalization 实现了深度神经网络的高效训练，并在 1000 层规模上得到验证。
引用
@article{arxiv.2204.04477,
title = {FoundationLayerNorm: Scaling BERT and GPT to 1,000 Layers},
author = {Dezhou Shen},
journal= {arXiv preprint arXiv:2204.04477},
year = {2022}
}
备注
7 pages, 5 tables