Whetstone：一种用于训练深度人工神经网络进行二值通信的方法
神经与进化计算
2019-01-29 v1 机器学习
摘要
本文提出了一种训练网络以实现低精度通信的新技术。以节点间最小通信为目标，不仅使得使用新兴的脉冲神经形态平台成为可能，还可能进一步简化常规处理。低功耗和嵌入式神经形态处理器相比传统冯·诺依曼处理器，有望在性能每瓦特上带来显著提升，然而对这些受大脑启发的平台进行编程通常需要特定于平台的专业知识，这限制了其适用性。迄今为止，大多数人工神经网络并未使用离散的脉冲式通信。我们提出了一种使用反向传播优化算法的迭代修改来训练深度脉冲神经网络的方法。我们将这种方法称为 Whetstone，它能有效且可靠地将网络配置为脉冲硬件目标，且几乎不损失性能。Whetstone 网络使用单时间步二值通信，不需要速率编码或其他基于脉冲的编码方案，因此生成的网络在时序和规模上与传统 ANN 相当，尽管通信被二值化了。我们在多个图像分类网络上演示了 Whetstone，描述了锐化过程如何与不同训练优化器交互并改变网络内的活动分布。我们进一步指出，Whetstone 兼容多种非分类神经网络应用，如自编码器和语义分割。Whetstone 具有广泛的可扩展性，目前通过在流行的 TensorFlow 机器学习框架的 Keras 封装器中自定义激活函数来实现。
引用
@article{arxiv.1810.11521,
title = {Whetstone: A Method for Training Deep Artificial Neural Networks for Binary Communication},
author = {William Severa and Craig M. Vineyard and Ryan Dellana and Stephen J. Verzi and James B. Aimone},
journal= {arXiv preprint arXiv:1810.11521},
year = {2019}
}