可测试学习多项式阈值函数
机器学习
2024-11-07 v2 数据结构与算法
摘要
Rubinfeld和Vasilyan最近引入了可测试学习的框架,作为经典不可知模型的扩展。它放宽了难以验证的分布假设,代之以可以通过测试器高效检查的条件。当数据真正满足原始假设时,测试器必须接受,并且当测试器接受时,学习器必须成功。我们关注测试器必须接受标准高斯数据的情况。在那里,已知像半空间这样的基本概念类可以以与(特定分布)不可知模型相同的时间复杂度进行可测试学习。在这项工作中,我们询问可测试学习更复杂的概念类是否需要付出代价。特别地,我们考虑多项式阈值函数,它自然地推广了半空间。我们证明,任意常数次的多项式阈值函数可以在时间内可测试学习到超额误差。这在性质上与不可知模型中已知的最佳保证相匹配。我们的结果建立在可测试学习与愚弄之间的联系上。特别地,我们表明,近似匹配标准高斯至少阶矩的分布可以愚弄常数次多项式阈值函数(误差在以内)。作为次要结果,我们证明了一种直接展示可测试学习(无需愚弄)的方法,该方法已成功用于半空间,但不能用于多项式阈值函数。
引用
@article{arxiv.2406.06106,
title = {Testably Learning Polynomial Threshold Functions},
author = {Lucas Slot and Stefan Tiegel and Manuel Wiedmer},
journal= {arXiv preprint arXiv:2406.06106},
year = {2024}
}
备注
Accepted to NeurIPS 2024. v2: Minor updates of exposition. 53 pages