Lipschitz算子的深度算子网络逼近速率

我们建立了一类神经深度算子网络(DON)的普适性与表达速率界，用于仿真可分的Hilbert空间$\mathcal X$、$\mathcal Y$（的子集）之间的Lipschitz（或Hölder）连续映射$\mathcal G:\mathcal X\to\mathcal Y$。所考虑的DON架构通过$\mathcal X$、$\mathcal Y$的（双正交）Riesz基使用线性编码器$\mathcal E$和解码器$\mathcal D$，以及对序列空间$\ell^2(\mathbb N)$上Lipschitz连续的无限维参数坐标映射的逼近网络。与先前工作（[Herrmann, Schwab and Zech: Neural and Spectral operator surrogates: construction and expression rate bounds, SAM Report, 2022]、[Marcati and Schwab: Exponential Convergence of Deep Operator Networks for Elliptic Partial Differential Equations, SAM Report, 2022]）要求例如$\mathcal G$全纯不同，本表达速率结果仅要求$\mathcal G$的Lipschitz（或Hölder）连续性。当前表达速率界证明的关键在于使用受Kolmogorov叠加定理启发的超表达激活函数（例如[Yarotski: Elementary superexpressive activations, Int. Conf. on ML, 2021]、[Shen, Yang and Zhang: Neural network approximation: Three hidden layers are enough, Neural Networks, 2021]及其参考文献），或使用最近在[Zhang, Shen and Yang: Neural Network Architecture Beyond Width and Depth, Adv. in Neural Inf. Proc. Sys., 2022]中提出的具有标准(ReLU)激活的非标准NN架构。我们通过以下仿真逼近速率界说明了抽象结果：a)参数椭圆变分不等式的解算子，以及b)Hilbert-Schmidt算子的Lipschitz映射。