基于专家建议与随机 Littlestone 维的最优预测

在线学习中的一项经典结果刻画了确定性学习器利用 Littlestone 维（Littlestone '88）所能达到的最优错误界。我们证明了随机学习器的类似结果：我们展示学习类 $\mathcal{H}$ 的最优期望错误界等于其随机 Littlestone 维，即存在一棵被 $\mathcal{H}$ 击碎且平均深度为 $2d$ 的树时的最大 $d$。我们进一步研究不可知情形下的最优错误界，将其表示为 $\mathcal{H}$ 中最佳函数所犯错误数 $k$ 的函数。我们展示具有 Littlestone 维 $d$ 的类的随机最优错误界为 $k + \Theta (\sqrt{k d} + d )$。这也意味着确定性最优错误界为 $2k + \Theta(d) + O(\sqrt{k d})$，从而解决了 Auer 与 Long ['99] 所研究的开放问题。作为我们理论的应用，我们重访利用专家建议预测的古典问题：约 30 年前 Cesa-Bianchi、Freund、Haussler、Helmbold、Schapire 与 Warmuth 研究了利用专家建议预测，假定 $n$ 个专家中最佳者至多犯 $k$ 个错误，并问何为最优错误界。Cesa-Bianchi、Freund、Helmbold 与 Warmuth ['93, '96] 给出了确定性学习器近乎最优的界，并将随机情形留作开放问题。我们通过提供随机情形下的最优学习规则并证明其期望错误界等于 Cesa-Bianchi 等人 ['93,'96] 确定性界的一半（直至可忽略的加性项）解决了该问题。与 Abernethy、Langford 与 Warmuth ['06] 以及 Br\^anzei 与 Peres ['19] 的先前工作不同，我们的结果适用于所有数对 $n,k$。