无噪声学习两层隐藏层神经网络的困难性
机器学习
2022-11-15 v3 计算复杂性
机器学习
摘要
我们给出了在标准（无噪声）模型下，针对高斯输入学习两层隐藏层ReLU网络的超多项式统计查询（SQ）下界。在此设定下，学习任何深度的ReLU网络尚无通用的SQ下界：先前的SQ下界仅适用于对抗性噪声模型（不可知学习）或受限模型，如相关性SQ。先前的工作暗示了我们结果的不可能性：Vempala和Wilmes证明，通用的SQ下界不能应用于任何满足简单非退化条件的实值函数族。为了规避他们的结果，我们改进了Daniely和Vardi提出的一个归约过程，该过程将布尔PAC学习问题归约为高斯问题。我们展示了如何将他们的技术扩展到其他学习模型，并在许多研究充分的案例中获得更高效的归约。因此，我们还证明了PAC学习两层隐藏层ReLU网络的新密码学困难性结果，以及从标签查询学习恒定深度ReLU网络的新下界。
引用
@article{arxiv.2202.05258,
title = {Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks},
author = {Sitan Chen and Aravind Gollakota and Adam R. Klivans and Raghu Meka},
journal= {arXiv preprint arXiv:2202.05258},
year = {2022}
}
备注
35 pages, v3: refined exposition