神经网络中的模块化连接源于泊松噪声启发的正则化并促进鲁棒性与组合泛化
生物物理
2025-12-17 v1 机器学习
神经与进化计算
机器学习
摘要
大脑中的神经回路通常表现出将复杂任务分解的模块化架构，从而具备组合泛化能力并减少灾难性遗忘。相比之下，人工神经网络 (ANN) 似乎混合了所有处理过程，因为模块化解难以寻找，它们在可能的解空间中是消失的子空间。在此，我们从容错计算和真实神经元的泊松式放电中汲取灵感，表明依赖于活动的神经噪声与非线性神经响应相结合，驱动了反映对模块化任务准确理解的解的出现，对应于获取正确的世界模型。我们发现，噪声驱动的模块化可以通过一个将权重和激活乘性结合的确定性正则化器来重现，揭示了线性网络或标准正则化方法未捕捉到的丰富现象。尽管模块化结构的出现需要足够多的训练样本（数量随模块化任务维度呈指数级增长），我们表明，与没有此类归纳偏置的 ANN 相比，预模块化的 ANN 表现出卓越的抗噪鲁棒性，以及超越训练数据进行泛化和外推的能力。总之，我们的工作展示了一种正则化器和架构，能够鼓励模块化的产生以带来功能上的收益。
引用
@article{arxiv.2512.13707,
title = {Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation},
author = {Daoyuan Qian and Qiyao Liang and Ila Fiete},
journal= {arXiv preprint arXiv:2512.13707},
year = {2025}
}