用于LSTM与高速公路网络高效门控的半绑定单元
计算与语言
2018-06-19 v1 机器学习
音频与语音处理
机器学习
摘要
门控是长短期记忆（LSTM）模型用于整合多源信息的一项关键技术，近来也被应用于其他模型如高速公路网络。尽管门控功能强大，但无论在计算还是存储上都相当昂贵，因为每个门控单元使用独立的完整权重矩阵。该问题可能很严重，因为在例如一个LSTM单元中可同时使用多个门。本文提出一种半绑定单元（STU）方法来解决此效率问题，其使用单个共享权重矩阵替换同层中所有单元中的那些矩阵。该方法被称为“半绑定”，是因为使用了额外参数来分别缩放各共享输出值。这些额外的缩放因子与网络激活函数相关联，并导致参数化sigmoid、双曲正切和修正线性单元函数的使用。使用英国英语多类型广播数据的语音识别实验表明，使用STU可将高速公路网络的计算和存储成本降低为原来的三分之一，LSTM则为四分之一，同时给出与原始模型相近的词错误率。
引用
@article{arxiv.1806.06513,
title = {Semi-tied Units for Efficient Gating in LSTM and Highway Networks},
author = {Chao Zhang and Philip Woodland},
journal= {arXiv preprint arXiv:1806.06513},
year = {2018}
}
备注
To appear in Proc. INTERSPEECH 2018, September 2-6, 2018, Hyderabad, India