旋度下降：具有符号多样化可塑性的非梯度学习动力学
机器学习
2026-04-29 v4
摘要
基于梯度的算法是人工神经网络训练的基石，但目前尚不清楚生物神经网络在学习过程中是否使用类似的基于梯度的策略。实验经常发现多种突触可塑性规则，但这些是否等同于梯度下降的近似尚不清楚。这里我们研究了一种此前被忽视的可能性：学习动力学可能包含本质上非梯度的"旋度"类分量，同时仍然能够有效地优化损失函数。在具有抑制-兴奋连接或 Hebbian/反 Hebbian 可塑性的网络中，旋度项自然产生，导致无法用任何目标函数的梯度下降来框架化的学习动力学。为研究这些旋度项的影响，我们在分析上可处理的学生-教师框架中分析前馈网络，通过具有规则翻转可塑性的神经元系统性地引入非梯度动力学。小旋度项保持了原解流形的稳定性，产生与梯度下降类似的学习动力学。超过临界值后，强旋度项使解流形失稳。根据网络架构的不同，这种失稳可能导致破坏性能的混沌学习动力学。在其他情况下，旋度项可以通过允许权重动力学暂时沿损失上升以逃离鞍点，反直觉地加速学习。我们的结果识别了能够通过多样化学习规则实现鲁棒学习的特定架构，为神经网络中基于梯度学习的规范性理论提供了重要反例。
引用
@article{arxiv.2510.02765,
title = {Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity},
author = {Hugo Ninou and Jonathan Kadmon and N. Alex Cayco-Gajic},
journal= {arXiv preprint arXiv:2510.02765},
year = {2026}
}