潜平衡：面向任意慢神经元实现任意快计算的统一学习理论
神经元与认知
2021-10-28 v1 人工智能
机器学习
神经与进化计算
信号处理
摘要
物理计算元件的响应时间有限，神经元亦不例外。在皮层网络的分层模型中，每一层因而引入响应滞后。物理动力系统的这一固有属性导致刺激处理的延迟，并造成网络输出与教导信号间的时间失配，从而不仅损害推断，也损害学习。我们引入潜平衡 (Latent Equilibrium)，一种在慢组件网络中推断与学习的新框架，其通过利用生物神经元使其输出相对于膜电位相位超前的能力来避免这些问题。该原理实现了独立于网络深度的准瞬时推断，并免除了对分阶段可塑性或计算昂贵的网络松弛阶段的需求。我们从一个依赖于网络广义位置与动量的前瞻性能量函数联合推导出去耦合的神经元与突触动力学。所得模型可解释为具有连续时间、泄漏神经元动力学与持续活跃局部可塑性的深度皮层网络中误差反向传播的生物学合理近似。我们展示了对标准基准数据集的成功学习，使用全连接与卷积架构均取得具竞争力的性能，并展示我们的原理如何应用于皮层微电路的详细模型。此外，我们研究了模型对时空基底缺陷的鲁棒性，以论证其在物理实现（无论体内还是硅基）中的可行性。
引用
@article{arxiv.2110.14549,
title = {Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons},
author = {Paul Haider and Benjamin Ellenberger and Laura Kriener and Jakob Jordan and Walter Senn and Mihai A. Petrovici},
journal= {arXiv preprint arXiv:2110.14549},
year = {2021}
}
备注
Accepted for publication in Advances in Neural Information Processing Systems 34 (NeurIPS 2021); 13 pages, 4 figures; 10 pages of supplementary material, 1 supplementary figure