中文

迈向非线性函数的 $L_\infty$-恢复:高斯随机场的多项式样本复杂度界

机器学习 2023-05-02 v1

摘要

许多机器学习应用需要学习一个在整个输入域上最坏情况误差(即 LL_\infty-误差)较小的函数,而大多数现有理论工作仅保证 L2L_2-误差等平均误差下的恢复。LL_\infty-恢复即便对于看似简单的函数类(如常范数无限宽两层神经网络)也从多项式样本中不可能实现。本文通过利用真值函数中的随机性,在不可能性结果之外迈出了一些初步步骤。我们证明了对于从高斯随机场抽取随机真值函数的一个多项式样本复杂度界。我们的关键技术新颖之处在于证明:高斯随机场中函数的 kk 次球谐分量不会是尖峰状的,因为其 LL_\infty/L2L_2 比值以高概率被 O(dlnk)O(d \sqrt{\ln k}) 上界限制。相比之下, kk 次球谐分量的最坏情况 LL_\infty/L2L_2 比值为 Ω(min{dk/2,kd/2})\Omega(\min\{d^{k/2},k^{d/2}\}) 量级。

关键词

引用

@article{arxiv.2305.00322,
  title  = {Toward $L_\infty$-recovery of Nonlinear Functions: A Polynomial Sample Complexity Bound for Gaussian Random Fields},
  author = {Kefan Dong and Tengyu Ma},
  journal= {arXiv preprint arXiv:2305.00322},
  year   = {2023}
}

备注

39 pages