高斯边缘分布下不可知学习半空间交集的近最优统计查询下界
机器学习
2022-02-11 v1
摘要
我们考虑了在具有挑战性的不可知学习模型下,于高斯分布上学习半空间交集这一被广泛研究的问题。Diakonikolas 等人 (2021) 的最新工作表明,任何用于在 上以恒定超额误差不可知地学习 个半空间交集类的统计查询 (SQ) 算法,要么必须进行容忍度至多为 的查询,要么必须进行 次查询。我们通过将容忍度要求提高到 来强化这一结果。该下界本质上是最优的,因为 Klivans 等人 (2008) 的 SQ 算法使用 次容忍度为 的查询,即可不可知地学习该类以达到任意恒定超额误差。我们证明了该下界的两个变体,每个变体都将 Diakonikolas 等人 (2021) 的方法与 Dachman-Soled 等人 (2014) 针对布尔设定的不可知 SQ 下界的另一种早期方法(及其扩展)相结合。我们的方法还给出了不可知地 SQ 学习“凸子空间军政府”(Vempala, 2010 年研究)类和具有有界高斯表面积集合类的下界;所有这些下界都近乎最优,因为它们本质上匹配了 Klivans 等人 (2008) 的已知上界。
引用
@article{arxiv.2202.05096,
title = {Near-Optimal Statistical Query Lower Bounds for Agnostically Learning Intersections of Halfspaces with Gaussian Marginals},
author = {Daniel Hsu and Clayton Sanford and Rocco Servedio and Emmanouil-Vasileios Vlatakis-Gkaragkounis},
journal= {arXiv preprint arXiv:2202.05096},
year = {2022}
}
备注
19 pages