梯度下降在广义门控线性网络上的隐式偏差
机器学习
2022-02-08 v1 机器学习
神经元与认知
摘要
理解深度神经网络梯度下降训练的渐近行为，对揭示归纳偏差和提升网络性能至关重要。我们推导了一类数学上可处理的深度非线性神经网络——门控线性网络（GLNs）——的无限时间训练极限，并将结果推广至由一般齐次多项式描述的门控网络。我们研究了结果的含义，首先聚焦于两层GLN。随后将理论预测应用于在MNIST上训练的GLN，展示架构约束与梯度下降的隐式偏差如何影响性能。最后，我们表明该理论捕捉了ReLU网络归纳偏差的实质性部分。通过显式化归纳偏差，我们的框架有望为开发更高效、更具生物可解释性与鲁棒性的学习算法提供指导。
引用
@article{arxiv.2202.02649,
title = {The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks},
author = {Samuel Lippl and L. F. Abbott and SueYeon Chung},
journal= {arXiv preprint arXiv:2202.02649},
year = {2022}
}
备注
23 pages, 5 figures