证伪与未来性能

我们从信息论角度重新表述了统计学习理论中的两个容量度量：经验 VC 熵和经验 Rademacher 复杂度。我们证明，这些容量度量计算的是学习算法在其备选方案中找到最小化经验风险的分类器时，所证伪的关于数据集的假设数量。由此可推知，预测器在未见数据上的未来性能部分受控于学习器证伪了多少假设。作为一个推论，我们证明经验 VC 熵量化了真实假设在特定概率分布（即所谓的实际备选方案集）的最优编码中的消息长度。