回声状态网络中因果影响与其底层网络结构的解耦
机器学习
2022-05-25 v1 计算工程、金融与科学
神经与进化计算
神经元与认知
摘要
回声状态网络（ESN）是一类通用的循环神经网络模型，其隐藏层在训练期间保持不变。该静态骨架中节点间的相互作用产生对给定刺激的不同表示，由读出机制加以利用，以执行解决特定任务所需的计算。ESN是神经元回路的可及模型，因为其训练成本相对较低。因此，ESN已吸引神经科学家研究神经结构、功能与行为之间的关系。例如，脑网络的独特连接模式如何支撑其节点间的有效相互作用，以及这些相互作用模式如何产生计算，尚不清楚。为解答该问题，我们采用具有生物启发结构的ESN，并使用系统的多点损伤框架来量化每个节点对网络输出的因果贡献，从而提供网络结构与行为间的因果联系。随后我们聚焦于结构-功能关系，使用同一损伤框架分解每个节点对所有其他节点的因果影响。我们发现，在恰当设计的ESN中，节点相互作用很大程度上独立于网络底层结构。然而，在具有相同拓扑但参数集非最优的网络中，底层连接模式决定了节点相互作用。我们的结果表明，ESN中的因果结构-功能关系可分解为直接相互作用与间接相互作用两个组分。前者基于依赖结构连接的影響；后者描述任意两节点间通过其他中间节点的有效通信。这些广泛分布的间接相互作用可能对ESN的高效性能有关键贡献。
引用
@article{arxiv.2205.11947,
title = {Causal Influences Decouple From Their Underlying Network Structure In Echo State Networks},
author = {Kayson Fakhar and Fatemeh Hadaeghi and Claus C. Hilgetag},
journal= {arXiv preprint arXiv:2205.11947},
year = {2022}
}
备注
This paper was accepted for oral presentation in IEEE WCCI 2022 + IJCNN 2022, special session on Reservoir Computing: algorithms, implementations and applications