DE$^3$-BERT：基于原型网络的距离增强 BERT 提前退出
机器学习
2025-12-30 v2 计算与语言
摘要
提前退出已证明通过动态调整执行层数来加速 BERT 等预训练语言模型推理的有效性。然而，现有的提前退出方法大多仅考虑单个测试样本的局部信息来确定其退出指标，未能利用样本群体提供的全局信息。这导致对预测正确性的估计次优，从而产生错误的退出决策。为弥补这一差距，我们探索了有效结合局部和全局信息以确保推理期间可靠提前退出的必要性。为此，我们利用原型网络学习类原型，并设计样本与类原型之间的距离度量。这使我们能够利用全局信息来估计早期预测的正确性。在此基础上，我们提出了一种用于 BERT 的新型距离增强提前退出框架（DE-BERT）。DE-BERT 实现了一种混合退出策略，用基于距离的全局信息补充经典的基于熵的局部信息，以增强对预测正确性的估计，从而做出更可靠的提前退出决策。在 GLUE 基准上的大量实验表明，DE-BERT 在不同的加速比下始终优于最先进模型，且存储或计算开销极小，在模型性能和推理效率之间取得了更好的权衡。此外，深入分析进一步验证了我们方法的通用性和可解释性。
引用
@article{arxiv.2402.05948,
title = {DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks},
author = {Jianing He and Qi Zhang and Weiping Ding and Duoqian Miao and Jun Zhao and Liang Hu and Longbing Cao},
journal= {arXiv preprint arXiv:2402.05948},
year = {2025}
}
备注
16 pages