一个独立于集合论 ZFC 公理的学习问题
机器学习
2017-11-15 v1
摘要
我们考虑如下统计估计问题：给定域 X 上实值函数族 F 以及从 X 上未知分布 P 抽取的 i.i.d. 样本，在 F 中寻找 h 使得 h 关于 P 的期望很可能近似等于 F 中成员期望的上确界。该期望最大化（EMX）问题涵盖了许多被充分研究的学习问题；事实上，它等价于 Vapnik 的一般学习框架。令人惊讶的是，我们证明 EMX 可学习性，以及某些基本类 F 的学习率，依赖于连续统的基数，因此独立于集合论 ZFC 公理（该公理被广泛接受为数学证明概念的形式化）。我们聚焦于 F 中函数为布尔值的情况，这推广了分类问题。我们研究了 F 的统计样本复杂度与其组合结构之间的相互作用。我们引入了一种新版本的样本压缩方案，并证明它对广泛类族的 EMX 可学习性进行了刻画。然而，我们证明对于实轴上有限子集的类，此类压缩方案的存在性独立于集合论。我们得出结论：该类关于可数支撑概率分布族的可学习性独立于集合论 ZFC 公理。我们还探索了捕捉该设定下可学习性的“类 VC-维”参数的存在性。我们的结果表明，不存在以类似于基于 VC-维的二值分类问题刻画方式刻画 EMX 可学习性的“有限”组合参数。
引用
@article{arxiv.1711.05195,
title = {A learning problem that is independent of the set theory ZFC axioms},
author = {Shai Ben-David and Pavel Hrubes and Shay Moran and Amir Shpilka and Amir Yehudayoff},
journal= {arXiv preprint arXiv:1711.05195},
year = {2017}
}