使用电阻交叉点器件训练 LSTM 网络
机器学习
2023-02-17 v1 新兴技术
机器学习
摘要
在我们之前的工作中，我们已经表明电阻交叉点器件，即所谓的电阻处理单元（Resistive Processing Unit, RPU）器件，在训练深度全连接网络以及卷积神经网络时能够提供显著的功耗和速度优势。在这项工作中，我们进一步将 RPU 概念扩展至训练循环神经网络（RNNs），即 LSTMs。我们表明，循环层的映射与全连接层的映射非常相似，因此 RPU 概念也有望为 RNNs 提供巨大的加速因子。此外，我们研究了各种器件缺陷和系统参数对训练性能的影响。更新的对称性对于 RNNs 变得更加关键；仅百分之几的非对称性就会导致测试误差相较于使用浮点数训练的理想情况有所增加。此外，到器件阵列的输入信号分辨率至少需要 7 位才能成功训练。然而，我们表明一种随机舍入方案可以将输入信号分辨率降回 5 位。进一步，我们发现 RPU 器件变异和硬件噪声足以缓解过拟合，从而较少需要使用 dropout。我们注意到，这里训练的模型就每轮执行的总乘法和加法运算次数而言，大约比在 MNIST 数据集上训练的全连接网络大 1500 倍。因此，在此我们试图研究 RPU 方法对于大规模网络的有效性。
引用
@article{arxiv.1806.00166,
title = {Training LSTM Networks with Resistive Cross-Point Devices},
author = {Tayfun Gokmen and Malte Rasch and Wilfried Haensch},
journal= {arXiv preprint arXiv:1806.00166},
year = {2023}
}
备注
17 pages, 5 figures