中文

Valiant学习理论中的可学习性是什么?

机器学习 2026-05-14 v1 数据结构与算法 机器学习 统计理论 统计计算 统计理论

摘要

Valiant于1984年发表的论文被广泛认为引入了PAC学习模型,但实际上它引入了另一个模型:与PAC学习不同,学习者仅接收正样本,可能提出成员查询,并必须输出没有假阳性的假设。先前的工作对该模型的各种变体进行了表征,包括不使用查询的情况。我们重新审视Valiant最初的模型,提出问题:哪些类在其中是可学习的?对于每一个有限域,包括Valiant的布尔超立方场景,我们展示:当且仅当每个可实现的正样本都能由多项式大小的自适应查询压缩方案进行认证时,该类才是可学习的。这一表征是一种新的样本压缩变体,其中学习者通过与成员查询者的短暂交互来认证样本。我们的表征显示,Valiant模型中的可学习性严格地夹在PAC模型的可学习性与Valiant模型中不使用查询的情况下的可学习性之间。这是一个极少数引入成员查询会改变可学习类的情形,不仅仅是影响样本或计算复杂度。接下来,我们研究该模型向任意域的自然扩展。虽然我们没有获得精确的表征,但我们的技术很容易推广,表明同样的严格夹取仍然存在。最后,我们表明d维半空间在不使用查询时不可学习,但在使用查询时可学习:我们给出一个poly(d)˜O(1/ϵ)样本和poly(d)polylog(1/ϵ)查询算法,并证明至少需要Ω(d)个样本或查询。据我们了解,这是半空间在Valiant模型中首个的算法。这些结果揭示了Valiant最初的可学习性概念背后意想不到的丰富理论,并引入了可能在学习理论中具有独立价值的想法。

关键词

引用

@article{arxiv.2605.13840,
  title  = {What is Learnable in Valiant's Theory of the Learnable?},
  author = {Steve Hanneke and Anay Mehrotra and Grigoris Velegkas and Manolis Zampetakis},
  journal= {arXiv preprint arXiv:2605.13840},
  year   = {2026}
}

备注

Abstract shortened for arXiv