SmartBERT：一种用于加速BERT推理的动态早退机制改进方法
计算与语言
2023-05-09 v2 人工智能
机器学习
摘要
动态早退已被证明可提升BERT等预训练语言模型的推理速度。然而，所有样本在早退前都必须经过所有连续层，且更复杂的样本通常经过更多层，这仍存在冗余计算。本文中，我们提出一种结合层跳过的BERT推理动态早退新方法，称为SmartBERT，其在BERT的每一层中加入跳过门与退出算子。SmartBERT能够自适应跳过若干层并自适应选择是否退出。此外，我们提出跨层对比学习并将其融入训练阶段，以增强对早退有益的中间层与分类器。为保持跳过门在训练与推理阶段使用的一致性，我们在训练阶段提出硬权重机制。我们在GLUE基准的八个分类数据集上开展实验。实验结果表明，与BERT相比，SmartBERT以最小的精度下降实现了2-3倍的算力削减，且我们的方法在效率与精度上均优于先前方法。此外，在RTE和WNLI等部分复杂数据集上，我们证明基于熵的早退几乎无效，而跳过机制对于减少计算至关重要。
引用
@article{arxiv.2303.09266,
title = {SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for Accelerating BERT Inference},
author = {Boren Hu and Yun Zhu and Jiacheng Li and Siliang Tang},
journal= {arXiv preprint arXiv:2303.09266},
year = {2023}
}
备注
Accepted by IJCAI2023