SGD在两层神经网络中以近最优样本复杂度先寻找后调整特征：以XOR问题为例

本工作中，我们考虑在由二次真实函数分离的数据上，对小批量随机梯度下降（SGD）在两层神经网络上的优化过程。我们证明，对于从$d$维布尔超立方体抽取、由二次“XOR”函数$y = -x_ix_j$标记的数据，可用$d\:\text{polylog}(d)$个样本训练至种群误差$o(1)$。我们的结果考虑通过标准小批量SGD在逻辑损失上同时训练具有ReLU激活的两层神经网络的两层。据我们所知，本工作是首个在标准神经网络上以标准训练对各向同性数据高效学习XOR函数给出$\tilde{O}(d)$样本复杂度的工作。我们的主要技术是展示网络以两阶段演化：一个$\textit{信号寻找}$阶段，此时网络较小且许多神经元独立演化以寻找特征；以及一个$\textit{信号主导}$阶段，此时SGD维持并平衡这些特征。我们利用两层的同时训练表明，仅一小部分神经元学习特征即已足够，因为这些神经元会被其第二层权重的同步增长所放大。