一种利用交替方向乘子法与LSMR训练前馈神经网络的FPGA加速方法
机器学习
2020-09-08 v1
摘要
在本项目中，我们成功设计、实现、部署并测试了一种用于神经网络训练的FPGA加速新算法。该算法本身是在独立研究选题中开发的。此训练方法基于交替方向乘子法（ADMM）算法，其具有强并行特性，并通过采用LSMR避免了在硬件设计中成问题的矩阵求逆等过程。作为中间阶段，我们用C语言完整实现了适用于层数及隐藏层大小灵活的前馈神经网络的ADMM-LSMR方法。我们证明了该方法可在不损失精度的情况下使用定点算术运行。接下来，我们利用Intel FPGA SDK for OpenCL设计了该算法的FPGA加速版本，并进行了广泛的优化阶段，随后成功在Intel Arria 10 GX FPGA上部署了该程序。该FPGA加速程序相较等效CPU实现展现出最高6倍的加速，同时取得了有前景的精度。
引用
@article{arxiv.2009.02784,
title = {An FPGA Accelerated Method for Training Feed-forward Neural Networks Using Alternating Direction Method of Multipliers and LSMR},
author = {Seyedeh Niusha Alavi Foumani and Ce Guo and Wayne Luk},
journal= {arXiv preprint arXiv:2009.02784},
year = {2020}
}