BPLight-CNN：一种基于光子学的深度学习反向传播加速器
机器学习
2021-02-23 v1 硬件体系结构
新兴技术
摘要
训练深度学习网络需要在使用反向传播算法（BP）的同时对深度网络各层进行连续的权重更新。这导致训练期间产生高昂的计算开销。因此，当今大多数深度学习加速器采用预训练权重，仅专注于改进推理阶段的设计。近期趋势是通过集成训练模块来构建完整的深度学习加速器。此类努力需要一种用于执行 BP 算法的超快芯片架构。在本文中，我们提出了一种基于光子学的高性能深度学习训练反向传播加速器。我们给出了一个卷积神经网络 BPLight-CNN 的设计，其集成了基于硅光子学的反向传播加速器。BPLight-CNN 是首个用于端到端训练与预测的基于光子学与忆阻器的 CNN 架构。我们使用光子 CAD 框架（IPKISS）在包括 LeNet 与 VGG-Net 的深度学习基准模型上评估了 BPLight-CNN。所提出的设计在训练时实现了（i）至少 34 倍加速、34 倍计算效率提升与 38.5 倍能耗节省；以及（ii）相比最先进设计在推理时实现了 29 倍加速、31 倍计算效率提升与 38.7 倍能耗节省。所有比较均在 16 位精度下进行；BPLight-CNN 以相比最先进设计约 6% 的精度下降为代价实现了这些提升。
引用
@article{arxiv.2102.10140,
title = {BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep Learning},
author = {D. Dang and S. V. R. Chittamuru and S. Pasricha and R. Mahapatra and D. Sahoo},
journal= {arXiv preprint arXiv:2102.10140},
year = {2021}
}