全局工作空间基元的收缩性质
机器学习
2025-08-27 v2 系统与控制
系统与控制
神经元与认知
摘要
为推动围绕多区域循环神经网络（RNNs）这一重要新兴研究领域的进展，我们在 Kozachkov 等人在《RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks》中提出的可证明稳定 RNNs of RNNs 基础上，从理论和实证上进行了拓展。我们证明了该架构若干显著特殊情形（最值得注意的是全局工作空间模块化结构）的放宽稳定性条件。随后，我们展示了全局工作空间稀疏组合网络（Global Workspace Sparse Combo Nets）在可训练参数较少情况下的实证成功，不仅体现在强劲的整体测试性能上，也体现在对移除单个子网络具有更强韧性。这些针对全局工作空间区域间拓扑的实证结果依赖于稳定性保持，凸显了我们的理论工作对实现模块化 RNN 成功的相关性和必要性。此外，通过更广泛地探索不同子网络模块间连接结构的稀疏性，我们在基准序列处理任务上改进了稳定 RNN 的当前最优性能，从而强调了专用图结构对多区域 RNN 的普遍效用。
引用
@article{arxiv.2310.01571,
title = {Contraction Properties of the Global Workspace Primitive},
author = {Michaela Ennis and Leo Kozachkov and Jean-Jacques Slotine},
journal= {arXiv preprint arXiv:2310.01571},
year = {2025}
}