部分概念类的PAC可学习性理论
机器学习
2021-07-22 v2 人工智能
计算复杂性
计算几何
机器学习
摘要
我们扩展了PAC学习理论，以建模丰富多样的学习任务，其中数据满足特定的性质从而简化学习过程。例如，数据到决策边界的距离有远离零的下界这类任务。基本而简单的思想是考虑部分概念：这些是在空间某些部分上可能未定义的函数。当学习部分概念时，我们假设源分布仅支持在部分概念有定义的点上。这样，人们可以自然地表达关于数据的假设，如位于低维曲面或间隔条件。相比之下，传统PAC理论能否表达此类假设一点也不清楚。事实上，我们展示了易于学习的部分概念类，其证明无法被传统PAC理论所捕获。这也解决了Attias、Kontorovich和Mansour于2019年提出的一个问题。我们刻画了部分概念类的PAC可学习性，并揭示了一个根本上不同于经典情形的算法图景。例如，在经典PAC模型中，学习归结为经验风险最小化（ERM）。形成鲜明对比的是，我们表明ERM原理无法解释部分概念类的可学习性。事实上，我们展示了极易学习的类，但任何学习它们的算法都必须使用具有无界VC维的假设空间。我们还发现样本压缩猜想在该设定下失效。因此，该理论具有无法以传统方式表示或解决的问题。我们视此为证据，表明它可能为经典理论未能解释的现实场景中的可学习性本质提供见解。
引用
@article{arxiv.2107.08444,
title = {A Theory of PAC Learnability of Partial Concept Classes},
author = {Noga Alon and Steve Hanneke and Ron Holzman and Shay Moran},
journal= {arXiv preprint arXiv:2107.08444},
year = {2021}
}