一包含图算法并非总是最优

Haussler、Littlestone 和 Warmuth 提出的一包含图算法在标准 PAC 分类设置中实现了期望风险的最优界。在 COLT 的首批开放问题之一中，Warmuth 猜想这种预测策略总能保证风险的高概率最优界，因此也是一个最优的 PAC 算法。我们以最强有力的方式反驳了这一猜想：对于任何具有实际意义的 Vapnik-Chervonenkis 类，我们提供了一个期望最优的一包含图算法，其高概率风险界无法超越马尔可夫不等式所隐含的界。我们构建这些性能不佳的一包含图算法时使用了 Varshamov-Tenengolts 纠错码。我们的负面结果具有多重意义。首先，它表明基于一包含图算法推广的几种近期预测策略也继承了同样糟糕的高概率性能。其次，我们的分析揭示了另一个统计问题，该问题拥有一个通过留一法论证被证明在期望上是最优的估计器，但在高概率机制下却失效了。尽管二元损失是有界的，基于集中不等式的论证通常能提供尖锐的高概率风险界，但这种差异仍然存在。