面向硬件神经形态网络的流式批量特征更新
机器学习
2019-08-21 v1 新兴技术
神经与进化计算
摘要
基于纳米器件（如金属氧化物忆阻器、相变存储器和闪存单元）的神经形态网络，因相比图形处理单元(GPUs)和中央处理单元(CPUs)具有更高的能效与集成密度而备受关注。尽管利用训练时间复杂度不随网络规模增长这一事实可实现训练过程的极大加速，但其受随机梯度下降空间复杂度（呈二次增长）的限制。本工作的主要目标是通过使用随机梯度下降的低秩近似来降低该空间复杂度。这种低空间复杂度与流式方法相结合，可显著减少内存与计算开销，为提升训练的面积、时间与能效打开大门。我们将实现该算法的方案及其架构称为流式批量特征更新(SBE)方法。
引用
@article{arxiv.1903.01635,
title = {Streaming Batch Eigenupdates for Hardware Neuromorphic Networks},
author = {Brian D. Hoskins and Matthew W. Daniels and Siyuan Huang and Advait Madhavan and Gina C. Adam and Nikolai Zhitenev and Jabez J. McClelland and Mark D. Stiles},
journal= {arXiv preprint arXiv:1903.01635},
year = {2019}
}
备注
13 pages, 5 figures