利用简单超低能耗脉冲架构对视觉刺激进行快速准确的稀疏编码
新兴技术
2019-01-24 v3
摘要
忆阻交叉阵列已成为实现无监督和监督学习技术的流行手段。在以往具有漏电积分发放神经元的神经形态架构中，为了保持数学严谨性，交叉阵列本身与神经元电容器是分离的。在本工作中，我们旨在简化设计，创建一个在精度损失极小的情况下功耗显著降低的快速电路。我们还表明，将神经元直接连接到交叉阵列可以产生更高效的稀疏编码架构，并消除了对感受野进行预归一化的需求。本工作提供了名为简单脉冲局部竞争算法（SSLCA）的此类网络的设计推导，以及 CMOS 设计和在 CIFAR 和 MNIST 数据集上的结果。与在 CIFAR-10 上单层分类器得分为 33% 的非脉冲模型相比，该硬件得分为 32%。当与最先进的深度学习分类器一起使用时，非脉冲模型达到了 82%，而我们简化的脉冲模型达到了 80%，同时将输入数据压缩了 92%。与之前提出的脉冲模型相比，我们提出的硬件在完成相同工作时能耗降低了 99%，吞吐量提高了 21 倍。在线学习时，在 3% 的写入方差下保持了精度，这适用于神经形态算法通常要求的 4 位分辨率；离线学习时，写入方差为 27%；读取方差为 40%。该架构出色的精度、吞吐量和显著更低的能耗证明了我们要创新的实用性。
引用
@article{arxiv.1704.05877,
title = {Fast and Accurate Sparse Coding of Visual Stimuli with a Simple, Ultra-Low-Energy Spiking Architecture},
author = {Walt Woods and Christof Teuscher},
journal= {arXiv preprint arXiv:1704.05877},
year = {2019}
}
备注
16 pages, 16 figures, published in IEEE Transactions on Neural Networks and Learning Systems