通过神经流形噪声相关实现信用分配
机器学习
2026-01-07 v1 人工智能
神经元与认知
摘要
信用分配——即单个神经元和突触的变化如何影响网络输出——是大脑和机器学习中的学习的核心问题。噪声相关性通过将活动扰动与输出变化相关联来估计梯度，为信用分配提供了一种生物学上可行的解决方案，但随网络规模而尺度不佳，因为准确估计雅可比矩阵需要扰动数随网络规模而增大。此外，各向同性噪声与神经活动位于低维流形上的神经生物学观察相冲突。为解决这些缺陷，我们提出了神经流形噪声相关 (NMNC)，其使用限制在神经流形上的扰动进行信用分配。我们在理论和实证方面表明，雅可比矩阵的行空间与神经流形对齐，并且流形维度随网络规模增长缓慢。NMNC 在在 CIFAR-10 上训练的卷积网络、ImageNet 比例模型以及循环网络中显著优于 vanilla 噪声相关性，同时实现更高的样本效率。NMNC 还产生更接近灵长类视觉系统的表示。这些发现提供了生物电路如何支持信用分配的机制性假设，并表明生物学启发的约束可能而非限制，能够实现规模化的有效学习。
引用
@article{arxiv.2601.02636,
title = {Credit Assignment via Neural Manifold Noise Correlation},
author = {Byungwoo Kang and Maceo Richards and Bernardo Sabatini},
journal= {arXiv preprint arXiv:2601.02636},
year = {2026}
}