有限宽度深度 ReLU 网络的通用逼近能力
机器学习
2018-06-06 v1 机器学习
摘要
我们证明有限宽度深度 ReLU 神经网络可对多项式、加窗正弦函数、一维振荡纹理，以及 Weierstrass 函数（连续但处处不可微的分形函数）给出率失真最优逼近（Bölcskei 等，2018）。结合其近期确立的仿射函数系统的通用逼近性质（Bölcskei 等，2018），这表明深度神经网络可逼近由仿射群、Weyl-Heisenberg 群或通过扭曲生成的极为不同的信号结构，甚至某些分形，且逼近误差随神经元数量指数衰减。我们还证明，在逼近充分光滑函数时，有限宽度深度网络所需连接数严格小于有限深度宽网络。
关键词
引用
@article{arxiv.1806.01528,
title = {The universal approximation power of finite-width deep ReLU networks},
author = {Dmytro Perekrestenko and Philipp Grohs and Dennis Elbrächter and Helmut Bölcskei},
journal= {arXiv preprint arXiv:1806.01528},
year = {2018}
}