FastBERT：一种具有自适应推理时间的自蒸馏 BERT
计算与语言
2020-04-30 v2
摘要
像 BERT 这样的预训练语言模型已被证明具有极高的性能。然而，它们在许多实际场景中往往计算代价高昂，因为此类重型模型在资源有限的情况下几乎难以直接部署。为了在确保模型性能的同时提升其效率，我们提出了一种新颖的可调速 FastBERT，具有自适应推理时间。推理时的速度可根据不同需求灵活调整，同时避免对样本进行冗余计算。此外，该模型在微调时采用独特的自蒸馏机制，以最小的性能损失进一步实现更高的计算效能。我们的模型在十二个中英文数据集上取得了有前景的结果。若给定不同的加速阈值以做出速度-性能权衡，它能够比 BERT 提速 1 到 12 倍不等。
引用
@article{arxiv.2004.02178,
title = {FastBERT: a Self-distilling BERT with Adaptive Inference Time},
author = {Weijie Liu and Peng Zhou and Zhe Zhao and Zhiruo Wang and Haotang Deng and Qi Ju},
journal= {arXiv preprint arXiv:2004.02178},
year = {2020}
}
备注
This manuscript has been accepted to appear at ACL 2020