Oja可塑性规则克服了生物约束下训练神经网络的若干挑战
神经元与认知
2025-04-08 v3 机器学习
摘要
深度神经网络通过精心设计的训练策略取得了令人瞩目的性能。然而，此类方法在生物神经回路中缺乏对应物，它们严重依赖非局部的信用分配、精确的初始化、归一化层、批处理和大型数据集。生物上合理的可塑性规则，如随机反馈对齐，在没有这些工程方法的情况下往往会出现不稳定和权重无界增长，而Hebbian型方案则无法提供目标导向的信用分配。在本研究中，我们证明将Oja可塑性规则纳入误差驱动训练中，可以在前馈和循环架构中实现稳定、高效的学习，从而无需精心设计的工程技巧。我们的结果表明，Oja规则保留了更丰富的激活子空间，减轻了梯度爆炸或消失问题，并改善了循环网络的短期记忆。值得注意的是，结合了Oja原理的元学习局部可塑性规则不仅在数据稀缺的情况下与标准反向传播相当，甚至超越了它。这些发现揭示了一条基于生物学的路径，将工程化深度网络与合理的突触机制联系起来。
关键词
引用
@article{arxiv.2408.08408,
title = {Oja's plasticity rule overcomes several challenges of training neural networks under biological constraints},
author = {Navid Shervani-Tabar and Marzieh Alireza Mirhoseini and Robert Rosenbaum},
journal= {arXiv preprint arXiv:2408.08408},
year = {2025}
}