青出于蓝：基于师生模型与集成学习的词嵌入蒸馏
信息检索
2019-06-04 v1 机器学习
机器学习
摘要
深度学习的最新进展推动了对实际应用中神经模型的需求。在实践中，这些应用通常需要在资源受限的情况下部署，同时保持高准确率。本文触及NLP中神经模型的核心——词嵌入，提出了一种新颖的嵌入蒸馏框架，可在不损害准确率的前提下显著缩减词嵌入维度。我们还提出了一种新颖的蒸馏集成方法，利用多个教师模型训练一个高效的学生模型。在我们的方法中，教师模型仅在训练期间发挥作用，因此学生模型在解码时独立运行，无需教师模型支持，这使其比其他典型集成方法快八十倍且轻量八十倍。所有模型在七个文档分类数据集上进行了评估，在大多数情况下显示出相对于教师模型的显著优势。我们的分析刻画了蒸馏过程中词嵌入的深刻转变，并为使用神经模型的集成方法指明了未来方向。
引用
@article{arxiv.1906.00095,
title = {The Pupil Has Become the Master: Teacher-Student Model-Based Word Embedding Distillation with Ensemble Learning},
author = {Bonggun Shin and Hao Yang and Jinho D. Choi},
journal= {arXiv preprint arXiv:1906.00095},
year = {2019}
}
备注
7 pages, Proceedings of the 28th International Joint Conference on Artificial Intelligence, 2019 (IJCAI'19)