LRC-BERT：用于自然语言理解的隐表示对比知识蒸馏
计算与语言
2020-12-15 v1 人工智能
摘要
BERT 等预训练模型在各种自然语言处理问题上取得了优异结果。然而，大量参数需要可观的内存与推理时间消耗，难以在边缘设备上部署。本工作中，我们提出一种基于对比学习的知识蒸馏方法 LRC-BERT，从角度距离方面拟合中间层的输出，这是现有蒸馏方法未考虑的。此外，我们在训练阶段引入基于梯度扰动的训练架构以增强 LRC-BERT 的鲁棒性，这是知识蒸馏中的首次尝试。另外，为更好地捕捉中间层的分布特征，我们针对总蒸馏损失设计了两阶段训练方法。最后，通过在通用语言理解评测（GLUE）基准上验证 8 个数据集，所提 LRC-BERT 的性能超越现有最先进（SOTA）方法，证明了我们方法的有效性。
引用
@article{arxiv.2012.07335,
title = {LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding},
author = {Hao Fu and Shaojun Zhou and Qihong Yang and Junjie Tang and Guiquan Liu and Kaikui Liu and Xiaolong Li},
journal= {arXiv preprint arXiv:2012.07335},
year = {2020}
}