CEEBERT: 早期退出BERT中的跨域推理
计算与语言
2024-05-27 v1 机器学习
摘要
预训练语言模型（如BERT）通过自监督目标在各种任务上表现出卓越的性能和泛化能力。然而，由于模型规模庞大，它们在推理延迟方面存在不足。为了解决这个问题，在中间层附加了侧分支，使得样本能够提前推理，无需通过所有层。然而，挑战在于决定每个样本应在哪一层推理并退出，以平衡准确性和延迟。此外，待推理样本的分布可能与训练时使用的分布不同，这需要跨域适应。我们提出了一种在线学习算法，名为早期退出BERT中的跨域推理（CeeBERT），该算法根据每个退出点的置信度水平动态确定样本的早期退出。CeeBERT根据在中间层观察到的特定领域置信度在线学习最优阈值，无需标记数据。在五个不同数据集上使用BERT和ALBERT模型的实验结果表明，CeeBERT能够通过减少不必要的计算来改善延迟，同时性能下降最小。通过适应阈值，CeeBERT可以将BERT/ALBERT模型加速2倍到3.5倍，同时准确率下降最小。
引用
@article{arxiv.2405.15039,
title = {CEEBERT: Cross-Domain Inference in Early Exit BERT},
author = {Divya Jyoti Bajpai and Manjesh Kumar Hanawal},
journal= {arXiv preprint arXiv:2405.15039},
year = {2024}
}
备注
Accepted at ACL 2024