随机梯度下降引起的两层神经网络表示漂移
无序系统与神经网络
2023-06-07 v2 机器学习
摘要
表示漂移是指在任务表现稳定的情况下，神经激活随时间发生的变化。尽管在大脑和人工网络中都已观察到这一现象，但其机制和影响尚未完全理解。受最近关于梨状皮层中刺激依赖性漂移的实验发现启发，我们利用理论和模拟研究了两层线性前馈网络中的这一现象。具体而言，在持续在线学习场景中，我们研究了随机梯度下降（SGD）固有噪声引起的漂移。通过将学习动力学分解为最小损失流形的法向空间和切向空间，我们表明前者对应有限方差涨落，而后者可视为流形上的有效扩散过程。我们解析计算了隐藏层中刺激表示的涨落系数和扩散系数，作为网络参数和输入分布的函数。此外，与实验一致，我们表明更频繁出现的刺激其漂移速率更慢。总体而言，我们的分析为更好地理解生物和人工神经网络中的漂移现象提供了一个理论框架。
引用
@article{arxiv.2302.02563,
title = {Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network},
author = {Farhad Pashakhanloo and Alexei Koulakov},
journal= {arXiv preprint arXiv:2302.02563},
year = {2023}
}
备注
International Conference on Machine Learning (ICML) 2023