神经网络的在线学习

我们研究具有符号激活函数的前馈神经网络的在线学习，这些网络实现从单位球内的函数到有限标签集 \{1,\ldots, Y} 的映射。首先，我们刻画了神经网络在线可学习性的边际条件：第一隐藏层的每个神经元都以某些边际 $\gamma$ 远离零分类所有实例。定量地，我们证明对于任意网络，最优错误界上限约为 $\mathtt{TS}(d,\gamma)$，这是 $(d,\gamma)$-全可分 packing 数，这是标准 $(d,\gamma)$-packing 数的更严格变体。我们通过构造在其上任何学习者都会犯 $\mathtt{TS}(d,\gamma)$ 次错误的网络来补充这一结果。我们还给出约 $\mathtt{TS}(d,\gamma) \geq \max\{1/(\gamma \sqrt{d})^d, d\}$ 的定量下界，当 $\gamma \geq 1/2$ 时，这表明对于某些网络和输入序列，每个学习者都会对 $\exp(d)$ 次错误，并且维度无关的错误界几乎不可能。为了消除这种不可避免的维度依赖，自然的做法是在网络上施加额外的自然限制，以消除 $d$ 的依赖。我们研究了两种此类限制。第一是多指数模型，其中网络计算的函数仅依赖于 $k \ll d$ 个正交方向。我们在该模型下证明了约 $(1.5/\gamma)^{k + 2}$ 的错误界。第二是扩展边际假设。在此设置下，我们假设网络中所有神经元(在所有层中)对来自前一层的每个输入都以边际 $\gamma$ 远离零分类。在该模型下，我们证明了约 $(\log Y)/ \gamma^{O(L)}$ 的错误界，其中 $L$ 为网络深度。