使用电阻式交叉点器件训练深度卷积神经网络
机器学习
2017-05-24 v1 神经与进化计算
机器学习
摘要
在之前的工作中，我们详细说明了通过以电阻式器件阵列形式实现全连接深度神经网络（DNN）来进行深度学习，从而获得最大性能收益的要求。我们在此将这种电阻式处理单元（Resistive Processing Unit, RPU）器件的概念扩展到卷积神经网络（CNNs）。我们展示了如何将卷积层映射到 RPU 阵列，使得硬件的并行性可在反向传播算法的所有三个周期中充分利用。我们发现，由于阵列上执行计算的模拟特性所带来的噪声和边界限制会影响 CNN 的训练精度。提出了噪声和边界管理技术，可在不增加模拟电路额外复杂性的情况下缓解这些问题，且可由数字电路处理。此外，我们讨论了数字可编程更新管理和器件差异性降低技术，可选择性地用于 CNN 中的某些层。我们表明，所有这些技术的组合使得 RPU 概念能成功应用于训练 CNN。此处讨论的技术更具通用性，可应用于 CNN 架构之外，从而使 RPU 方法适用于大类神经网络架构。
引用
@article{arxiv.1705.08014,
title = {Training Deep Convolutional Neural Networks with Resistive Cross-Point Devices},
author = {Tayfun Gokmen and O. Murat Onen and Wilfried Haensch},
journal= {arXiv preprint arXiv:1705.08014},
year = {2017}
}
备注
22 pages, 6 figures, 2 tables