具有非线性耗散的时变电网络的梯度估计器
机器学习
2021-03-11 v1 人工智能
神经与进化计算
摘要
我们提出一种方法,通过将定向、时变神经网络建模为电路,将平衡传播(equilibrium propagation)这一用于估计定点神经网络中梯度的技术推广到更一般的情形。我们利用电路理论构造一个拉格朗日量,能够描述使用非线性电容与电感、线性电阻与电源以及一类称为分数忆阻器的特殊非线性耗散元件建模的深度定向神经网络。随后,我们推导了网络物理参数(如突触电导)相对于任意损失函数的梯度估计器。该估计器完全局部化,仅依赖于每个突触局部可得的信息。最后,我们提出了将这些结果推广至生物学合理神经元网络(如 Hodgkin-Huxley 神经元)的方法。
引用
@article{arxiv.2103.05636,
title = {A Gradient Estimator for Time-Varying Electrical Networks with Non-Linear Dissipation},
author = {Jack Kendall},
journal= {arXiv preprint arXiv:2103.05636},
year = {2021}
}
备注
12 pages, 0 figures