BERT-of-Theseus：通过渐进式模块替换压缩 BERT
计算与语言
2020-10-06 v4 机器学习
摘要
在本文中，我们提出一种新颖的模型压缩方法，通过渐进式模块替换来有效压缩BERT。我们的方法首先将原始BERT划分为若干模块并构建其紧凑替代模块。然后，我们随机将原始模块替换为其替代模块，以训练紧凑模块来模仿原始模块的行为。我们在训练过程中逐步增加替换概率。以此方式，我们的方法带来了原始模型与紧凑模型之间更深层次的交互。与先前用于BERT压缩的知识蒸馏方法相比，我们的方法不引入任何额外的损失函数。我们的方法在GLUE基准上优于现有的知识蒸馏方法，展示了模型压缩的新视角。
引用
@article{arxiv.2002.02925,
title = {BERT-of-Theseus: Compressing BERT by Progressive Module Replacing},
author = {Canwen Xu and Wangchunshu Zhou and Tao Ge and Furu Wei and Ming Zhou},
journal= {arXiv preprint arXiv:2002.02925},
year = {2020}
}
备注
EMNLP 2020