通过可训练门变量与双峰正则化器学习动态 BERT
计算与语言
2021-02-22 v1 人工智能
摘要
BERT 模型在各种自然语言处理任务上已取得显著成功。然而，由于模型规模庞大且计算成本高，该模型存在高延迟问题，这对部署于资源受限设备是致命的。为应对此问题，我们提出一种基于 BERT 的动态推理方法，通过对输入词元施加可训练门变量，并采用具有双峰性质的正则化器。我们的方法在 GLUE 数据集上以最小性能下降实现了计算成本的降低。此外，模型可通过用户指定超参数在性能与计算成本间进行权衡调整。
引用
@article{arxiv.2102.09727,
title = {Learning Dynamic BERT via Trainable Gate Variables and a Bi-modal Regularizer},
author = {Seohyeong Jeong and Nojun Kwak},
journal= {arXiv preprint arXiv:2102.09727},
year = {2021}
}