利用平衡传播训练端到端模拟神经网络
神经与进化计算
2020-06-11 v2 机器学习
摘要
我们引入一种通过随机梯度下降训练端到端模拟神经网络的原则性方法。在这些模拟神经网络中，待调整的权重由可编程阻性器件（如忆阻器 [Chua, 1971]）的电导实现，非线性传递函数（或“激活函数”）由二极管等非线性元件实现。我们从数学上证明一类模拟神经网络（称为非线性阻性网络）是基于能量的模型：作为支配电路的基尔霍夫定律的结果，它们拥有能量函数。该性质使我们能够使用平衡传播（Equilibrium Propagation）框架 [Scellier and Bengio, 2017] 训练它们。我们针对每个电导的更新规则是局部的且仅依赖于相应电阻上的电压降，被证明可计算损失函数的梯度。我们使用基于 SPICE 的 Spectre 仿真框架来仿真电路动力学，其数值仿真展示了在 MNIST 分类任务上的训练，性能与同等规模的基于软件的神经网络相当或更优。我们的工作可指导开发新一代超快、紧凑且低功耗、支持片上学习的神经网络。
引用
@article{arxiv.2006.01981,
title = {Training End-to-End Analog Neural Networks with Equilibrium Propagation},
author = {Jack Kendall and Ross Pantone and Kalpana Manickavasagam and Yoshua Bengio and Benjamin Scellier},
journal= {arXiv preprint arXiv:2006.01981},
year = {2020}
}