在FPGA中使用结构化矩阵的高效循环神经网络
机器学习
2018-03-26 v2 数值分析
机器学习
摘要
循环神经网络（RNN）在需要高效和实时实现的时间序列相关应用中正变得越来越重要。近期基于剪枝的工作ESE由于剪枝后网络结构不规则，导致性能/能效下降。我们提出使用块循环矩阵进行RNN中权重矩阵的表示，从而同时实现模型压缩和加速。我们的目标是在FPGA上实现具有最高性能和能效的RNN，并满足一定的精度要求（精度下降可忽略）。在实际FPGA部署上的实验结果表明，与ESE相比，所提出的框架实现了最高35.7的能效提升。
引用
@article{arxiv.1803.07661,
title = {Efficient Recurrent Neural Networks using Structured Matrices in FPGAs},
author = {Zhe Li and Shuo Wang and Caiwen Ding and Qinru Qiu and Yanzhi Wang and Yun Liang},
journal= {arXiv preprint arXiv:1803.07661},
year = {2018}
}
备注
To appear in International Conference on Learning Representations 2018 Workshop Track