正则化学习规则中赫布动力学的稳态普遍性
机器学习
2025-12-02 v2 信号处理
摘要
赫布型与反赫布型可塑性在生物大脑中广泛存在，但其理论理解仍然有限。在本工作中，我们发现当学习方法通过 L2 权重衰减进行正则化时，其学习信号在趋近稳态的过程中会逐渐与赫布学习信号的方向对齐。这种类赫布行为并非 SGD 所独有：几乎所有学习规则，包括随机规则，都可以在学习停止之前很久就表现出相同的特征。我们还为回归任务中的反赫布可塑性提供了理论解释，展示了它如何自然地从梯度或输入噪声中产生，并为大脑中观察到的反赫布效应提供了一种可能的解释。当然，我们提出的机制并不排除任何传统形式的赫布可塑性，它们可以在大脑中广泛共存。对神经生理学的一个关键启示是需要开发实验方法来区分这两种赫布观测。
引用
@article{arxiv.2505.18069,
title = {Homeostatic Ubiquity of Hebbian Dynamics in Regularized Learning Rules},
author = {David Koplow and Tomaso Poggio and Liu Ziyin},
journal= {arXiv preprint arXiv:2505.18069},
year = {2025}
}