蒸馏神经网络以实现更绿色更快速的依存解析
计算与语言
2020-06-02 v1
摘要
近年来，由于依赖庞大且低效的神经网络实现，自然语言处理研究的碳足迹不断攀升。蒸馏是一种网络压缩技术，试图将大模型的知识传递给更小的模型。我们使用师生蒸馏来提升 Biaffine 依存解析器的效率，该解析器在准确率和解析速度方面均取得了最先进的性能（Dozat and Manning, 2017）。当蒸馏至原始模型可训练参数的 20% 时，我们在多个不同的 Universal Dependency 树库上仅观察到 UAS 和 LAS 平均下降约 1 个点，同时在推理时于 CPU（GPU）上比基线模型快 2.30 倍（1.19 倍）。我们还观察到对某些树库压缩至 80% 时性能有小幅提升。最后，通过蒸馏我们获得了一个不仅比 Penn Treebank 上最快的现代解析器更快而且更准的解析器。
引用
@article{arxiv.2006.00844,
title = {Distilling Neural Networks for Greener and Faster Dependency Parsing},
author = {Mark Anderson and Carlos Gómez-Rodríguez},
journal= {arXiv preprint arXiv:2006.00844},
year = {2020}
}
备注
To be published in proceedings of the 16th International Conference on Parsing Technologies. Earlier versions were rejected at the 58th Annual Conference of the Association for Computational Linguistics and 8th International Conference on Learning Representations