2004 IMS 奖章讲座：风险最小化中的局部 Rademacher 复杂性与 Oracle 不等式

设 $\mathcal{F}$ 为定义在概率空间 $(S,\mathcal{A},P)$ 上的一族可测函数 $f:S\mapsto [0,1]$。给定取自 $S$ 且具有共同分布 $P$ 的 i.i.d. 随机变量样本 $(X_1,...,X_n)$，令 $P_n$ 表示基于 $(X_1,...,X_n)$ 的经验测度。我们研究经验风险最小化问题 $P_nf\to \min$，$f\in \mathcal{F}$。给定该问题的解 $\hat{f}_n$，目标是获得其超额风险 $$\mathcal{E}_P(\hat{f}_n):=P\hat{f}_n-\inf_{f\in \mathcal{F}}Pf,$$ 的非常通用的上界，这些上界用类 $\mathcal{F}$ 的相关几何参数表示。利用浓度不等式和其他经验过程工具，我们获得了超额风险的依赖分布和依赖数据的上界，它们在许多例子中具有渐近正确的阶。这些界涉及由该类中的函数索引的经验过程和 Rademacher 过程的局部化 sup-范数。我们利用这些界开发了抽象风险最小化问题中的模型选择技术，这些技术可应用于回归和分类等更专门的框架。