深度 ReLU 网络与高阶有限元方法 II：切比雪夫仿真
数值分析
2024-08-01 v2 机器学习
数值分析
摘要
我们给出了在定义神经网络的参数个数意义上，深度前馈 ReLU 神经网络（NN）对定义在有限区间 的任意有限剖分 上的连续分片多项式函数的 Sobolev 范数下的表达式率与稳定性。我们提出了以切比雪夫多项式展开系数编码函数近似的 ReLU NN 代理的新颖构造，其所需神经元少于以往的构造。切比雪夫系数可利用函数在 Clenshaw–Curtis 点的值通过逆快速傅里叶变换轻松算出。所获得的表达式率与稳定性界优于基于 ReLU NN 对单项式仿真（如 [Opschoor, Petersen and Schwab, 2020] 与 [Montanelli, Yang and Du, 2021] 所考虑）的构造。所有仿真界均显式依赖于（任意）区间剖分、目标仿真精度以及剖分各单元中的多项式次数。我们针对数值分析中常见的各类函数与范数给出了 ReLU NN 仿真误差估计。特别地，我们给出了带点奇异性的解析函数的指数级 ReLU 仿真率界，并建立了 Chebfun 近似与构造性 ReLU NN 仿真之间的接口。
引用
@article{arxiv.2310.07261,
title = {Deep ReLU networks and high-order finite element methods II: Chebyshev emulation},
author = {Joost A. A. Opschoor and Christoph Schwab},
journal= {arXiv preprint arXiv:2310.07261},
year = {2024}
}