ESSOP：用于深度学习的高效可扩展随机外积架构
机器学习
2020-03-26 v1 神经与进化计算
摘要
深度神经网络（DNNs）在多种认知任务上已超越人类水平精度，但代价是 DNN 训练中的显著内存/时间需求。这限制了它们在需要实时学习且能量与内存受限应用中的部署。矩阵-向量乘法（MVM）与向量-向量外积（VVOP）是与 DNN 训练相关的两个最昂贵操作。在硬件中提升 MVM 计算效率的策略已被展示，且对训练精度影响极小。然而，即便有上述策略，VVOP 计算仍是一个相对少被探索的瓶颈。随机计算（SC）已被提出以提升 VVOP 计算效率，但用于具有有界激活函数与激活梯度浮点（FP）缩放的相对浅层网络。本文中，我们提出 ESSOP，一种基于 SC 范式的高效可扩展随机外积架构。我们引入高效技术将 SC 推广到具有无界激活函数（如 ReLU）的 DNN 权重更新计算，而这是许多最先进网络所需的。我们的架构通过重用随机数并将某些 FP 乘法运算替换为位移缩放来降低计算成本。我们表明，具有 33 个卷积层与一个全连接层的 ResNet-32 网络可在 CIFAR-10 数据集上用 ESSOP 训练以达到基线可比精度。在 14nm 工艺节点上的 ESSOP 硬件设计显示，相较于高度流水化的 FP16 乘法器设计，ESSOP 在外积计算上的能量效率与面积效率分别优 82.2% 与 93.7%。
引用
@article{arxiv.2003.11256,
title = {ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for Deep Learning},
author = {Vinay Joshi and Geethan Karunaratne and Manuel Le Gallo and Irem Boybat and Christophe Piveteau and Abu Sebastian and Bipin Rajendran and Evangelos Eleftheriou},
journal= {arXiv preprint arXiv:2003.11256},
year = {2020}
}
备注
5 pages. 5 figures. Accepted at ISCAS 2020 for publication