突触平衡：一种生物学上合理的局部学习规则，可证明在保持任务性能的同时提升神经网络噪声鲁棒性
神经元与认知
2022-10-12 v1
摘要
我们引入一种新颖的、生物学上合理的局部学习规则，可证明在具有齐次非线性的非线性循环神经网络中提升神经动力学对噪声的鲁棒性。我们的学习规则在不牺牲任务性能且无需任何特定任务知识的情况下实现更高的噪声鲁棒性。可塑性动力学——一个作用于网络权重的可积动力系统——保持了多个守恒量，最显著的是网络从输入到输出轨迹的整个时间映射。我们学习规则的结果是每个神经元传入与传出突触之间的突触平衡。该突触平衡规则与实验观测的异突触可塑性许多已知方面一致，并且做出了关于单个神经元传入与传出突触可塑性的新的实验可检验预测。总体而言，本工作提供了一种新颖、实用的局部学习规则，其精确保持整体网络功能，并由此在异突触可塑性的神经生物学、正则化噪声鲁棒网络工程以及可积Lax动力系统的数学这些迥异领域间建立了新的概念桥梁。
引用
@article{arxiv.2107.08530,
title = {Synaptic balancing: a biologically plausible local learning rule that provably increases neural network noise robustness without sacrificing task performance},
author = {Christopher H. Stock and Sarah E. Harvey and Samuel A. Ocko and Surya Ganguli},
journal= {arXiv preprint arXiv:2107.08530},
year = {2022}
}