DynaBERT：具有自适应宽度与深度的动态BERT
计算与语言
2020-10-12 v2 机器学习
摘要
诸如BERT之类的预训练语言模型尽管在许多自然语言处理任务中表现强大，但在计算和内存上均开销高昂。为缓解此问题，一种方法是在部署前针对特定任务对其进行压缩。然而，近期关于BERT压缩的工作通常将大型BERT模型压缩至固定的较小尺寸。它们无法充分满足具有不同硬件性能的各种边缘设备的需求。本文提出一种新颖的动态BERT模型（缩写为DynaBERT），其可通过选择自适应宽度和深度来灵活调整尺寸与延迟。DynaBERT的训练过程包括先训练宽度自适应的BERT，再通过从全尺寸模型向小型子网络蒸馏知识，允许自适应宽度与深度。网络重连也被用于保持由更多子网络共享的更重要的注意力头与神经元。在各种效率约束下的综合实验表明，我们提出的动态BERT（或RoBERTa）在最大尺寸时具有与BERT-base（或RoBERTa-base）相当的性能，而在较小宽度与深度下持续优于现有BERT压缩方法。代码见 https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/DynaBERT。
引用
@article{arxiv.2004.04037,
title = {DynaBERT: Dynamic BERT with Adaptive Width and Depth},
author = {Lu Hou and Zhiqi Huang and Lifeng Shang and Xin Jiang and Xiao Chen and Qun Liu},
journal= {arXiv preprint arXiv:2004.04037},
year = {2020}
}
备注
NeurIPS-2020 (Spotlight)