BERT-EMD：基于地球移动距离的多对多层映射 BERT 压缩方法
计算与语言
2020-10-14 v1 机器学习
摘要
预训练语言模型（如 BERT）已在各种自然语言处理（NLP）任务中取得显著成功。然而，高存储与计算成本阻碍了预训练语言模型在资源受限设备上的有效部署。本文提出一种基于多对多层映射的新型 BERT 蒸馏方法，其允许每个中间学生层从任意中间教师层学习。如此，我们的模型可针对不同 NLP 任务自适应地从不同教师层学习。此外，我们利用地球移动距离（EMD）来计算将知识从教师网络迁移至学生网络所需支付的最小累积代价。EMD 实现了对多对多层映射的有效匹配。进一步，我们提出一种代价注意力机制，自动学习 EMD 中使用的层权重，以期进一步提升模型性能并加速收敛。在 GLUE 基准上的大量实验表明，我们的模型在准确率和模型压缩方面均与强劲竞争对手相比具有竞争力。
引用
@article{arxiv.2010.06133,
title = {BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance},
author = {Jianquan Li and Xiaokang Liu and Honghong Zhao and Ruifeng Xu and Min Yang and Yaohong Jin},
journal= {arXiv preprint arXiv:2010.06133},
year = {2020}
}
备注
EMNLP 2020