从 RNN 向 DNN 迁移知识
机器学习
2015-04-08 v1 计算与语言
神经与进化计算
机器学习
摘要
深度神经网络 (DNN) 声学模型在自动语音识别 (ASR) 任务中产生了许多最先进的结果。最近，循环神经网络 (RNN) 模型已被证明优于 DNN 对应模型。然而，最先进的 DNN 和 RNN 模型往往难以部署在计算能力有限的嵌入式系统上。传统上，嵌入式平台的方法要么是直接训练小型 DNN，要么是训练一个学习大型 DNN 输出分布的小型 DNN。在本文中，我们利用最先进的 RNN 向小型 DNN 迁移知识。我们使用 RNN 模型生成软对齐，并最小化针对小型 DNN 的 Kullback-Leibler 散度。在软 RNN 对齐上训练的小型 DNN 在 Wall Street Journal (WSJ) eval92 任务上实现了 3.93 的词错误率 (WER)，而基线为 4.54 WER，相对提升超过 13%。
引用
@article{arxiv.1504.01483,
title = {Transferring Knowledge from a RNN to a DNN},
author = {William Chan and Nan Rosemary Ke and Ian Lane},
journal= {arXiv preprint arXiv:1504.01483},
year = {2015}
}