超越线性化：宽神经网络的二次及高阶近似

近期的理论工作建立了过参数化神经网络与由神经正切核（NTK）支配的线性化模型之间的联系。NTK理论得出了具体的收敛性和泛化性结果，然而经验上神经网络的性能被观察到优于其线性化模型，这表明该理论的不足。为弥合这一差距，我们研究了超出NTK范畴但仍受网络泰勒展开支配的过参数化神经网络的训练。我们提出了对神经网络进行\emph{随机化}的思想，这使它们能够脱离其NTK并与二次模型耦合。我们证明，随机化的两层网络的优化景观是良好的，且适合逃离鞍点的算法。我们证明了关于这些随机化网络的具体泛化性和表达性结果，这些结果导致了（学习某些简单函数的）样本复杂度界限，该界限与NTK相匹配，并且在存在温和分布假设时，还可以因维度因子而更优。我们证明，通过使用随机化技术找到与其泰勒级数中高阶项耦合的网络，该技术可以系统地推广到二次情形之外。