DPBERT：基于动态规划的高效 BERT 推理
计算与语言
2023-08-02 v1 人工智能
摘要
BERT 等大规模预训练语言模型对自然语言处理（NLP）的发展做出了重大贡献。然而，这些模型需要大量的计算资源，难以应用于计算能力受限的移动设备。本文旨在解决现有输入自适应推理方法的不足，即未能充分利用 BERT 的结构。我们提出了 DPBERT（Dynamic Planning in BERT），一种新颖的微调策略，通过为输入样本选择骨干网络 transformer 层列表的一个子序列作为计算路径，从而加速 BERT 的推理过程。为此，我们的方法在原始 BERT 模型上添加一个规划模块，以决定在推理过程中某一层是被包含还是被绕过。在 GLUE 基准上的实验结果表明，我们的方法将延迟降低到 75%，同时保持 98% 的准确率，与最先进的输入自适应方法相比，取得了更好的准确率-速度权衡。
引用
@article{arxiv.2308.00108,
title = {DPBERT: Efficient Inference for BERT based on Dynamic Planning},
author = {Weixin Wu and Hankz Hankui Zhuo},
journal= {arXiv preprint arXiv:2308.00108},
year = {2023}
}