中文

矩阵测度流:神经网络稳定可塑性的新途径

动力系统 2023-06-13 v3

摘要

本通讯引入矩阵测度流的概念,作为分析具有时变权重的神经网络稳定性的工具。给定矩阵流——例如由基于梯度的自适应所诱导的流——矩阵测度流追踪相关联的矩阵测度(或对数范数)的演化。我们表明,对于计算神经科学与机器学习中某些感兴趣的矩阵流,相关联的矩阵测度流满足一个简单的不等式。在神经科学背景下,突触——大脑中神经元间的连接——持续被更新。这种可塑性支撑许多重要功能,如记忆巩固与面向实时控制目标的快速参数自适应。然而,突触可塑性对循环神经网络的稳定性分析提出了挑战,后者通常假设突触固定。矩阵测度流使得带可塑突触的循环神经网络的稳定性与收缩性质得以被系统分析。这进而可用于确立神经动力学的鲁棒性性质,包括那些与优化和控制问题相关的性质。我们考虑受 Hebbian 和/或反 Hebbian 可塑性以及基于协方差和基于梯度规则作用的突触示例。

关键词

引用

@article{arxiv.2212.12639,
  title  = {Matrix Measure Flows: A Novel Approach to Stable Plasticity in Neural Networks},
  author = {Leo Kozachkov and Jean-Jacques Slotine},
  journal= {arXiv preprint arXiv:2212.12639},
  year   = {2023}
}

备注

Changed title and abstract, added figure