ReLU 网络与多项式核的表示能力：超越最坏情形分析
机器学习
2018-05-30 v1 数据结构与算法
机器学习
摘要
过去尤其是最近，人们对不同族通用逼近器（例如 ReLU 网络、多项式、有理函数）的能力产生了大量兴趣。然而，当前研究几乎 exclusively 集中于在最坏情形设定下理解该问题，例如在盒中界定最佳无穷范数逼近的误差。在此设定下，即便逼近单个 ReLU 也需要高次多项式。然而，在具有高维数据的真实应用中，我们预期仅需在函数定义域的某些相关部分上较好地逼近目标函数。受此驱动，我们分析具有有界度的神经网络和多项式核在一个具有稀疏隐结构的简单自然推断问题上取得良好统计性能的能力。我们给出了神经网络和低次多项式在该问题上性能的近乎紧的界。我们对多项式的界涉及可能具有独立意义的新技术，并显示出与最坏情形设定下已知结果重大的定性差异。
引用
@article{arxiv.1805.11405,
title = {Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis},
author = {Frederic Koehler and Andrej Risteski},
journal= {arXiv preprint arXiv:1805.11405},
year = {2018}
}