不可知可能近似正确(PAC)机器学习模型的精确下界

我们在不可知可能近似正确(agnostic probably-approximately-correct, PAC)机器学习分类模型中，给出了极小极大期望超额风险(expected excess risk, EER)的精确非渐近下界，并将极小极大学习算法确定为某些极大对称且极小随机化的“投票”过程。基于该结果，给出了极小极大EER的精确渐近下界。该下界具有简单形式 $c_\infty/\sqrt{\nu}$ （当 $\nu\to\infty$ 时），其中 $c_\infty=0.16997\dots$ 为普适常数，$\nu=m/d$，$m$ 为训练样本大小，$d$ 为假设类的 Vapnik–Chervonenkis 维度。研究表明，这些渐近与非渐近下界之间的差异，以及这两个下界与任何最小化经验风险的学习算法的最大EER之间的差异，在渐近意义上可忽略，且所有这些差异均源于上述“投票”过程中的平局。我们还得到了一些易于计算的极小极大EER非渐近下界，表明即使在比值 $\nu=m/d$ 相当小的情况下，它们也接近精确渐近下界 $c_\infty/\sqrt{\nu}$。作为这些结果的应用，我们大幅改进了现有的超额风险尾概率下界。使用的工具包括贝叶斯估计以及显然新的二项式分布恒等式与不等式。