FastGRNN：一种快速、准确、稳定且仅有千字节大小的门控循环神经网络
机器学习
2019-01-09 v1 人工智能
神经与进化计算
机器学习
摘要
本文提出了 FastRNN 与 FastGRNN 算法，以解决 RNN 训练不准确与预测效率低下的双重局限。已有方法以牺牲预测成本为代价提升准确率，使其在资源受限与实时应用中不可行。酉 RNN（Unitary RNN）通过限制状态转移矩阵奇异值的范围在一定程度上提高了准确率，但也因需要更多隐藏单元以弥补表达能力的损失而增大了模型规模。门控 RNN 通过增加额外参数获得了最先进的准确率，但也导致了更大的模型。FastRNN 通过添加不显式约束奇异值范围且仅有两个额外标量参数的残差连接来解决这些局限。FastGRNN 随后将该残差连接扩展为门，通过复用 RNN 矩阵来匹配最先进门控 RNN 的准确率，但模型规模缩小 2-4 倍。将 FastGRNN 的矩阵强制为低秩、稀疏和量化后，得到了可比领先门控与酉 RNN 小至多 35 倍的准确模型。这使得 FastGRNN 能够以 1 KB 模型准确识别“Hey Cortana”唤醒词，并部署于过于微小而无法存储其他 RNN 模型的严重资源受限 IoT 微控制器上。FastGRNN 的代码见 https://github.com/Microsoft/EdgeML/。
引用
@article{arxiv.1901.02358,
title = {FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network},
author = {Aditya Kusupati and Manish Singh and Kush Bhatia and Ashish Kumar and Prateek Jain and Manik Varma},
journal= {arXiv preprint arXiv:1901.02358},
year = {2019}
}
备注
23 pages, 10 figures, Published at Advances in Neural Information Processing Systems (NeurIPS) 2018