LightMBERT：一种简洁而高效的多语言 BERT 蒸馏方法
计算与语言
2021-03-12 v1
摘要
多语言预训练语言模型（如 mBERT、XLM 和 XLM-R）在跨语言自然语言理解任务上展现出了令人印象深刻的性能。然而，这些模型计算密集，难以部署在资源受限设备上。本文提出一种简洁而高效的蒸馏方法（LightMBERT），用于将多语言 BERT 的跨语言泛化能力迁移到一个小型学生模型上。实验结果实证地展示了 LightMBERT 的效率与有效性，其显著优于基线方法，并与教师模型 mBERT 性能相当。
引用
@article{arxiv.2103.06418,
title = {LightMBERT: A Simple Yet Effective Method for Multilingual BERT Distillation},
author = {Xiaoqi Jiao and Yichun Yin and Lifeng Shang and Xin Jiang and Xiao Chen and Linlin Li and Fang Wang and Qun Liu},
journal= {arXiv preprint arXiv:2103.06418},
year = {2021}
}