RomeBERT：多出口BERT的鲁棒训练
计算与语言
2021-01-26 v1
摘要
BERT 在自然语言理解（NLU）任务上取得了优异的性能。然而，BERT 参数量大，部署需要一定的资源。为加速，近期提出了 BERT 的动态早退出（DeeBERT），其引入多个出口并采用动态早退出机制以保证高效推理。在获得效率-性能权衡的同时，多出口 BERT 中早出口的性能显著差于晚出口。本文中，我们利用梯度正则化自蒸馏对多出口 BERT 进行鲁棒训练（RomeBERT），可有效解决早出口与晚出口之间的性能不平衡问题。此外，所提出的 RomeBERT 对多出口和 BERT 主干采用单阶段联合训练策略，而 DeeBERT 需要两个阶段，训练时间更长。在 GLUE 数据集上的大量实验证明了我们方法的优越性。我们的代码可在 https://github.com/romebert/RomeBERT 获取。
引用
@article{arxiv.2101.09755,
title = {RomeBERT: Robust Training of Multi-Exit BERT},
author = {Shijie Geng and Peng Gao and Zuohui Fu and Yongfeng Zhang},
journal= {arXiv preprint arXiv:2101.09755},
year = {2021}
}