ExtremeBERT：一个用于加速定制化 BERT 预训练的工具包
计算与语言
2022-12-01 v1 机器学习
最优化与控制
摘要
在本文中，我们提出 ExtremeBERT，一个用于加速和定制化 BERT 预训练的工具包。我们的目标是为研究界和工业界提供一个易于使用的 BERT 预训练工具包。因此，在有限资源下，于定制化数据集上对流行语言模型进行预训练是可行的。实验表明，为达到相同或更好的 GLUE 分数，与原始 BERT 论文相比，我们的工具包在时间成本上，BERT Base 减少了超过 倍，BERT Large 减少了 倍。文档与代码已在 https://github.com/extreme-bert/extreme-bert 以 Apache-2.0 许可证发布。
引用
@article{arxiv.2211.17201,
title = {ExtremeBERT: A Toolkit for Accelerating Pretraining of Customized BERT},
author = {Rui Pan and Shizhe Diao and Jianlin Chen and Tong Zhang},
journal= {arXiv preprint arXiv:2211.17201},
year = {2022}
}