模拟卷积神经网络转换为脉冲卷积神经网络的理论与工具
机器学习
2016-12-14 v1 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
深度卷积神经网络（CNN）在众多现实世界的机器学习应用中展现了巨大潜力，但在大型 CNN 中进行实时推理仍然是一个挑战。我们先前已经证明，传统的 CNN 可以转换为深度脉冲神经网络（SNN），由于其数据驱动、基于事件的计算方式，SNN 在保持相似准确度的同时降低了延迟和计算负载。在此，我们提供了一个新颖的理论来解释这种转换为何成功，并由此推导出几种新工具，以将更大、更强大的深度网络类转换为 SNN。我们指出了先前转换方法中近似误差的主要来源，并提出了简单的机制来解决这些问题。此外，我们开发了常见 CNN 操作（如 max-pooling、softmax 和 batch-normalization）的脉冲实现，从而允许将任意 CNN 架构几乎无损地转换到脉冲域。在 MNIST 和 CIFAR10 基准上对不同网络架构的实证评估，取得了迄今为止报道的最佳 SNN 结果。
引用
@article{arxiv.1612.04052,
title = {Theory and Tools for the Conversion of Analog to Spiking Convolutional Neural Networks},
author = {Bodo Rueckauer and Iulia-Alexandra Lungu and Yuhuang Hu and Michael Pfeiffer},
journal= {arXiv preprint arXiv:1612.04052},
year = {2016}
}
备注
9 pages, 2 figures, presented at the workshop "Computing with Spikes" at NIPS 2016, Barcelona, Spain