误差广播与去相关：一种潜在的人工与自然学习机制
机器学习
2025-10-21 v3 人工智能
摘要
我们提出误差广播与去相关 (EBD)，一种用于神经网络的新颖学习框架，以解决信用分配问题，通过直接将输出误差广播到各层，规避了反向传播的权重传输问题。EBD在统计正交性原理的严谨基础上建立，此原理指出，最优估计器的误差与输入的函数正交。基于这一洞见，EBD定义了层次化损失函数，直接惩罚层激活与输出误差之间的相关性，从而为误差广播建立了原则化的基础。这种理论上严谷的机制自然导致实验上观察到的三因子学习规则，并与生物学上符合人类认知的框架相集成，以提升性能与可信度。数值实验表明，EBD在基准数据集上表现出竞争甚至优于其他误差广播方法。我们的发现将EBD确立为一种高效、生物学上符合人类认知且原则化的神经网络训练替代方案。实现代码已公开：https://github.com/meterdogan07/error-broadcast-decorrelation。
引用
@article{arxiv.2504.11558,
title = {Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism},
author = {Mete Erdogan and Cengiz Pehlevan and Alper T. Erdogan},
journal= {arXiv preprint arXiv:2504.11558},
year = {2025}
}