卷积循环神经网络在临界点附近的动力学
统计力学
2024-05-24 v1 机器学习
神经元与认知
摘要
我们考察了单层卷积循环网络的动力学特性，其中使用光滑的 S 型激活函数，当输入值较小且卷积核为单位时（即所有特征值恰好位于单位圆上）。此类网络具有多种显著特性：输出通过压缩非线性（如立方根）依赖于输入，当输入趋于零时，松弛时间尺度和信号传播长度尺度对输入极其敏感，呈幂律形式发散。基本动力学机制是：输入到网络中产生持续活动，进而控制额外输入或信号在空间上的传播或在时间上的衰减。我们给出了当网络以单次振荡驱动时以及当背景值创建持续活动稳态时的稳态解析解，并推导了随背景值变化而决定时间衰减和空间传播长度的关系。
引用
@article{arxiv.2405.13854,
title = {On the dynamics of convolutional recurrent neural networks near their critical point},
author = {Aditi Chandra and Marcelo O. Magnasco},
journal= {arXiv preprint arXiv:2405.13854},
year = {2024}
}