在模拟阻性交叉阵列上训练大规模人工神经网络
神经与进化计算
2023-02-17 v1 新兴技术
机器学习
摘要
利用模拟阻性交叉阵列加速人工神经网络（ANN）的训练是一个有前景的思路。虽然该概念已在极小的 ANN 和玩具数据集（如 MNIST）上得到验证，但更贴近实际规模的 ANN 和数据集尚未被处理。然而，可以预期器件材料和硬件设计约束，例如噪声计算、器件材料有限的阻态数目、权重与激活范围的饱和，以及模数转换器有限的精度，将给最先进 ANN 的成功训练带来显著挑战。通过使用模拟硬件感知的 ANN 训练仿真，我们在此探索若干简单的算法补偿措施，以应对模拟噪声以及受限的权重与输出范围和分辨率，这些措施显著改善了在中等至大规模 ANN 的 RPU 阵列上的模拟训练性能。
引用
@article{arxiv.1906.02698,
title = {Training large-scale ANNs on simulated resistive crossbar arrays},
author = {Malte J. Rasch and Tayfun Gokmen and Wilfried Haensch},
journal= {arXiv preprint arXiv:1906.02698},
year = {2023}
}