高斯边缘分布下不可知学习中的多项式回归最优性
机器学习
2021-02-09 v1 数据结构与算法
统计理论
机器学习
统计理论
摘要
我们研究高斯分布下的不可知学习问题。我们利用线性规划(LP)对偶性，为广泛的一类问题开发了一种寻找困难样例族的方法。对于布尔值概念类，我们证明了 -回归算法本质上是最优的，因此不可知地学习一个概念类的计算难度与在 -范数下逼近该类任意函数所需的多项式次数密切相关。利用这一刻画以及额外的分析工具，我们获得了不可知学习线性阈值函数的最优统计查询(SQ)下界，以及针对多项式阈值函数和半空间交集的首个非平凡 SQ 下界。我们还为不可知学习实值函数发展了类似的理论，并作为应用证明了不可知学习 ReLU 和 sigmoid 函数的近最优 SQ 下界。
引用
@article{arxiv.2102.04401,
title = {The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals},
author = {Ilias Diakonikolas and Daniel M. Kane and Thanasis Pittas and Nikos Zarifis},
journal= {arXiv preprint arXiv:2102.04401},
year = {2021}
}