脉冲神经网络内部表征、临界性与重整化群
生物物理
2024-09-05 v1
摘要
感官系统边缘生物体的最优信息处理在多个实例中与临界或近临界状态的特征相关。此外，皮层系统在两种实验模型（ 与）下的醒时及麻醉状态下也被描述为处于临界状态。我们利用受生物学 setup 启发的 метод率，研究多层（深层）脉冲人工神经网络在执行计算简单但有意义认知任务时的内部表征（IR）是否存在类似特征。我们采用类似于体内植入电极记录大鼠皮层活动的 méthod，既包括自由活动状态，也包括不同水平麻醉下的情形。当网络输入发生变化时，IR 相关波动衰减特性时间的增加，表明 IR 波动呈现宽尾分布。即使网络尚未能够完成分类任务（例如由于部分训练或低剂量麻醉），宽尾分布仍然存在于 IR 波动中。然而，我们未发现 IR 崩溃大小与持续时间呈幂律分布的充分证据。我们从重整化群视角解释这些结果，指出尽管存在宽尾分布，这并非与临界相变相关，而是类似于铁磁系统中磁场逆转引起的波动。另外，构造了一个非临界系统的持续相关波动示例，其中粒子在缓变势中进行布朗运动。
引用
@article{arxiv.2409.02238,
title = {Internal Representations in Spiking Neural Networks, criticality and the Renormalization Group},
author = {João Henrique de Sant'Ana and Nestor Caticha},
journal= {arXiv preprint arXiv:2409.02238},
year = {2024}
}