经验熵、极小极大遗憾与极小极大风险

我们考虑具有平方损失函数的随机设计回归模型。我们提出了一种在适当选择的随机子集上聚合经验最小化器 (ERM) 的方法，该方法在极端情况下退化为 ERM，并建立了其风险的尖锐 Oracle 不等式。我们表明，在经验 $\varepsilon$-熵以 $\varepsilon^{-p}$ 增长的条件下，对于 $p\in(0,2)$，所提方法的超额风险达到 $n^{-2/(2+p)}$ 的速率；对于 $p>2$，达到 $n^{-1/p}$ 的速率，其中 $n$ 为样本量。此外，对于 $p\in(0,2)$，超额风险速率与良设定模型下回归问题中函数估计的极小极大风险行为相匹配。由此得出结论：在 $p\in(0,2)$ 机制下，良设定模型中的统计估计速率（极小极大风险）与误设定模型中的统计估计速率（极小极大遗憾）是等价的。换言之，对于 $p\in(0,2)$，统计学习问题享有与统计估计问题相同的极小极大速率。相反，对于 $p>2$，我们表明极小极大遗憾的速率通常慢于极小极大风险。我们的 Oracle 不等式还意味着，对于维度为 $v$ 的 Vapnik-Chervonenkis 型类，即使没有通常的凸性假设，也能获得 $v\log(n/v)/n$ 的速率；我们证明了这些速率是最优的。最后，对于一种稍作修改的方法，我们推导出了 $s$-稀疏凸聚合的超额风险界，改进了 Lounici [Math. Methods Statist. 16 (2007) 246-259] 的结果并提供了最优速率。