浅层 ReLU 网络学习单个神经元：相关输入下的动力学与隐式偏置
机器学习
2023-10-03 v2
摘要
我们证明，对于学习单个神经元这一基础回归任务，从一个小初始化出发用梯度流训练任意宽度的单隐层 ReLU 网络会收敛到零损失，并且隐式偏置为最小化网络参数的秩。通过假设训练点与教师神经元相关，我们补充了先前考虑正交数据集的工作。我们的结果基于对训练过程中每个隐层神经元的动力学的详细非渐近分析。我们还展示并刻画了此设定下最小秩插值器网络与最小欧氏范数插值器网络之间令人惊讶的区别。最后我们进行了一系列数值实验，佐证了我们的理论发现。
引用
@article{arxiv.2306.06479,
title = {Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs},
author = {Dmitry Chistikov and Matthias Englert and Ranko Lazic},
journal= {arXiv preprint arXiv:2306.06479},
year = {2023}
}