梯度下降学习需要神经网络与目标之间的初始对齐
机器学习
2022-08-17 v2
摘要
本文引入神经网络在初始化时与目标函数之间的“初始对齐”（INAL）概念。我们证明，如果一个网络与一个布尔目标函数没有显著的 INAL，那么在具有归一化独立同分布初始化的全连接网络上进行的带噪声梯度下降将在多项式时间内无法学习。因此，在架构设计中需要关于目标的一定量的知识（由 INAL 度量）。这也为 [AS20] 中提出的开放问题提供了答案。这些结果基于推导对称神经网络上在除 INAL 外无目标函数显式知识的下降算法的下界。
引用
@article{arxiv.2202.12846,
title = {An initial alignment between neural network and target is needed for gradient descent to learn},
author = {Emmanuel Abbe and Elisabetta Cornacchia and Jan Hązła and Christopher Marquis},
journal= {arXiv preprint arXiv:2202.12846},
year = {2022}
}