深度神经网络中网络模体的涌现
适应与自组织系统
2022-08-03 v1 机器学习
生物物理
摘要
网络科学能够为复杂系统的结构与功能特性提供基础性见解。例如，众所周知神经元回路倾向于组织成称为“网络模体”的基本功能拓扑模块。在本文中，我们表明网络科学工具也可成功应用于研究依照自组织（学习）原理运作的人工神经网络。特别地，我们研究了多层感知机中网络模体的涌现，其初始连通性被定义为全连接二部图的堆叠。我们的模拟表明，最终网络拓扑主要由学习动力学塑造，但可通过选择适当的权重初始化方案产生强烈偏置。总体而言，我们的结果表明，非平凡初始化策略能够通过促进有用网络模体的发展使学习更有效，这些模体常与在一般转导网络中观察到的模体惊人地一致。
引用
@article{arxiv.1912.12244,
title = {Emergence of Network Motifs in Deep Neural Networks},
author = {Matteo Zambra and Alberto Testolin and Amos Maritan},
journal= {arXiv preprint arXiv:1912.12244},
year = {2022}
}