分层网络的模块化生长：高效、通用且鲁棒的课程学习
神经与进化计算
2024-06-11 v1 人工智能
摘要
结构模块化是生物神经网络的一个普遍特征，这与多种功能与计算优势相关。然而，尽管早期取得过成功，模块化架构在人工神经网络中的应用相对有限。在此，我们探索了通过迭代生长课程在记忆任务上训练的模块化网络的性能与功能动态。我们发现，对于给定的经典非模块化循环神经网络 (RNN)，等效的模块化网络在多项指标上表现更优，包括训练时间、泛化性以及对某些扰动的鲁棒性。我们进一步检验了模块化网络连接性的不同方面如何贡献于其计算能力。随后我们证明，模块化拓扑引入的归纳偏置足够强，即使模块内的连接固定且仅训练模块间的连接，网络也能表现良好。我们的发现表明，RNN 的渐进式模块化生长可以在进化时间尺度上为学习日益复杂的任务提供优势，并有助于构建更具可扩展性与可压缩性的人工网络。
引用
@article{arxiv.2406.06262,
title = {Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning},
author = {Mani Hamidi and Sina Khajehabdollahi and Emmanouil Giannakakis and Tim Schäfer and Anna Levina and Charley M. Wu},
journal= {arXiv preprint arXiv:2406.06262},
year = {2024}
}