DACT-BERT：面向高效 BERT 推理的可微自适应计算时间
计算与语言
2021-09-27 v1 人工智能
摘要
大规模预训练语言模型已在多样的 NLP 应用中展现出显著成果。遗憾的是，这些性能提升伴随着计算时间与模型规模的显著增加，亟需开发新的或互补的策略以提升这些模型的效率。本文提出 DACT-BERT，一种面向 BERT 类模型的可微自适应计算时间策略。DACT-BERT 在 BERT 常规处理流程中加入了自适应计算机制，以控制推理时所需执行的 Transformer 块数量。借此，模型学习为当前任务组合最合适的中间表示。我们的实验表明，与基线相比，我们的方法在受限计算条件下表现优异，并在其他限制较少的条件下具有竞争力。
引用
@article{arxiv.2109.11745,
title = {DACT-BERT: Differentiable Adaptive Computation Time for an Efficient BERT Inference},
author = {Cristóbal Eyzaguirre and Felipe del Río and Vladimir Araujo and Álvaro Soto},
journal= {arXiv preprint arXiv:2109.11745},
year = {2021}
}