归纳式在线学习的最优错误界

我们通过紧密量化归纳式学习与标准在线学习之间的差距，解决了关于无标签数据在在线学习中作用的 30 年开放问题。在标准设定中，最优错误界由概念类 $H$ 的 Littlestone 维数 $d$ 刻画（Littlestone 1987）。我们证明在归纳式设定中，错误界至少为 $\Omega(\sqrt{d})$。这分别相对于 Ben-David、Kushilevitz 和 Mansour（1995、1997）以及 Hanneke、Moran 和 Shafer（2023）给出的先前下界 $\Omega(\log\log d)$、$\Omega(\sqrt{\log d})$ 和 $\Omega(\log d)$ 构成了指数级改进。我们还证明该下界是紧的：对每个 $d$，存在 Littlestone 维数为 $d$ 的类，其归纳式错误界为 $O(\sqrt{d})$。我们的上界也改进了 Ben-David、Kushilevitz 和 Mansour（1997）给出的已知最优上界 $(2/3)d$。这些结果建立了归纳式学习与标准在线学习之间的二次差距，从而凸显了提前访问无标签实例序列的好处。这与 PAC 设定形成对比，在 PAC 设定中归纳式学习与标准学习表现出相似的样本复杂度。