AdaBERT：基于可微神经架构搜索的任务自适应BERT压缩方法
计算与语言
2021-01-25 v2 机器学习
摘要
诸如BERT之类的大型预训练语言模型已在各种自然语言处理任务中展现出其有效性。然而，巨大的参数量使得它们难以部署在需要有限资源下快速推理的实时应用中。现有方法将BERT压缩为小模型，但这种压缩是与任务无关的，即对所有不同的下游任务使用相同的压缩BERT。受任务导向的BERT压缩的必要性与收益的启发，我们提出了一种新颖的压缩方法AdaBERT，它利用可微神经架构搜索（differentiable Neural Architecture Search）自动将BERT压缩为针对特定任务的任务自适应小模型。我们引入了一个任务导向的知识蒸馏损失来提供搜索提示，以及一个效率感知损失作为搜索约束，从而在任务自适应BERT压缩的效率与效果之间实现良好权衡。我们在若干NLP任务上评估了AdaBERT，结果表明这些任务自适应压缩模型在推理时间上比BERT快12.7倍至29.3倍，在参数量上小11.5倍至17.0倍，同时保持了可比的性能。
引用
@article{arxiv.2001.04246,
title = {AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search},
author = {Daoyuan Chen and Yaliang Li and Minghui Qiu and Zhen Wang and Bofang Li and Bolin Ding and Hongbo Deng and Jun Huang and Wei Lin and Jingren Zhou},
journal= {arXiv preprint arXiv:2001.04246},
year = {2021}
}
备注
accepted by IJCAI 2020