关于线性化神经网络的六讲

在这六讲中，我们考察通过对线性模型的分析可以了解多层神经网络行为的哪些方面。我们首先通过所谓的惰性机制（lazy regime）回顾神经网络与线性模型之间的对应关系。随后我们综述四种线性化神经网络模型：具有集中特征（concentrated features）的线性回归、核岭回归（kernel ridge regression）、随机特征模型（random feature model）与神经正切模型（neural tangent model）。最后，我们指出线性理论的局限性，并讨论其他方法是如何克服这些局限的。