基于统一 PAC-Bayesian-Rademacher-Shtarkov-MDL 复杂度的紧过剩风险界

我们提出了一种新的复杂度概念，该概念插值并推广了学习理论中一些经典的现有复杂度概念：对于具有任意有界损失的估计量（如经验风险最小化 ERM），其复杂度在数据独立的 Rademacher 复杂度意义下有上界；对于广义贝叶斯估计量，其复杂度在数据依赖的信息复杂度（也称为随机或 PAC-Bayesian，即 $\mathrm{KL}(\text{posterior} \operatorname{\|} \text{prior})$ 复杂度）意义下有上界。对于（惩罚化）ERM，新复杂度简化为（广义）归一化最大似然（NML）复杂度，即极小极大对数损失个体序列遗憾。我们的第一个主要结果用新复杂度界定了过剩风险。我们的第二个主要结果通过 Rademacher 复杂度将新复杂度与 $L_2(P)$ 熵联系起来，从而推广了 Opper、Haussler、Lugosi 和 Cesa-Bianchi 早期关于 $L_\infty$ 对数损失情况的结果。综合起来，这些结果恢复了 VC 类和大（多项式熵）类的最优界，用更简单的分析替代了局部化 Rademacher 复杂度，该分析几乎完全分离了决定可达速率的两个方面：“易性”（Bernstein）条件和模型复杂度。