超越径向函数的深度分离
机器学习
2021-09-23 v4 神经与进化计算
机器学习
摘要
神经网络的高维深度分离结果表明，某些函数可在高维 下被两隐藏层网络高效逼近，却不能被单隐藏层网络逼近。此类现有结果主要关注具有底层径向或一维结构的函数，而这些结构在实践中通常遇不到。本文的第一个贡献是通过基于 (Eldan and Shamir, 2016) 的证明策略，将此类结果推广到更一般的函数类，即具有分段振荡结构的函数。我们补充这些结果，表明若目标函数的域半径和振荡速率为常数，则对任意固定误差阈值，单隐藏层网络的逼近以 速率成立。深度分离结果证明中的一个共同主题是：单隐藏层网络无法逼近其 Fourier 表示在域中分散的高能函数。另一方面，现有的单隐藏层神经网络对函数的逼近结果依赖于函数具有稀疏 Fourier 表示。域的选择也代表了上、下逼近界之间差距的一个来源。聚焦于一个固定逼近域，即维数 中的球面 ，我们给出了可由单隐藏层网络高效逼近的函数以及可证明不能被逼近的函数两者依其 Fourier 展开的刻画。
引用
@article{arxiv.2102.01621,
title = {Depth separation beyond radial functions},
author = {Luca Venturi and Samy Jelassi and Tristan Ozuch and Joan Bruna},
journal= {arXiv preprint arXiv:2102.01621},
year = {2021}
}