TaxoNN：一种用于深度神经网络训练的轻量级加速器
硬件体系结构
2020-10-13 v1 机器学习
神经与进化计算
摘要
新兴的智能嵌入式设备依赖深度神经网络（DNNs）以与现实世界环境交互。这种交互伴随着对 DNNs 进行再训练的能力，因为环境条件随时间持续变化。随机梯度下降（SGD）是一种广泛使用的算法，通过迭代优化训练数据上的参数来训练 DNNs。在这项工作中，我们首先提出了一种新方法，通过将 SGD 算法拆分为简单的计算单元，为基线 DNN 加速器（仅推理）添加训练能力。然后，基于这一启发式方法，我们提出 TaxoNN，一种用于 DNN 训练的轻量级加速器。TaxoNN 可通过时分复用方法和低比特位宽单元复用推理过程中使用的硬件资源，轻松调整 DNN 权重。我们的实验结果表明，与全精度实现相比，TaxoNN 平均多出 0.97% 的误分类率。此外，相较于最先进的 DNN 训练加速器，TaxoNN 提供了 2.1 的功耗节省和 1.65 的面积缩减。
引用
@article{arxiv.2010.05197,
title = {TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training},
author = {Reza Hojabr and Kamyar Givaki and Kossar Pourahmadi and Parsa Nooralinejad and Ahmad Khonsari and Dara Rahmati and M. Hassan Najafi},
journal= {arXiv preprint arXiv:2010.05197},
year = {2020}
}
备注
Accepted to ISCAS 2020. 5 pages, 5 figures