利用暗知识迁移训练循环神经网络
机器学习
2016-09-21 v5 计算与语言
机器学习
神经与进化计算
摘要
循环神经网络(RNNs)，尤其是长短期记忆(LSTM)，在自动语音识别(ASR)中已获得大量关注。尽管已有一些成功案例报道，训练RNNs仍然极具挑战性，尤其是在训练数据有限的情况下。近期研究发现，一个训练良好的模型可用作教师来训练其他子模型，方法是将教师模型生成的预测作为监督。这种知识迁移学习已被用于以复杂网络训练简单神经网络，从而使得最终性能达到通过常规训练无法获得的水平。在本文中，我们采用知识迁移学习方法来训练RNNs（确切地说是LSTM），使用深度神经网络(DNN)模型作为教师。这与大多数现有的知识迁移学习研究不同，因为教师(DNN)被假定为弱于学生(RNN)；然而，我们在一项ASR任务上的实验表明其效果相当好：无需在学习的方案上应用任何技巧，该方法即使训练数据有限也能成功训练RNNs。
引用
@article{arxiv.1505.04630,
title = {Recurrent Neural Network Training with Dark Knowledge Transfer},
author = {Zhiyuan Tang and Dong Wang and Zhiyong Zhang},
journal= {arXiv preprint arXiv:1505.04630},
year = {2016}
}
备注
ICASSP 2016