使用可压缩激活函数的通用逼近的最小宽度

对于无界深度网络，允许通用逼近的确切最小宽度仅对ReLU及其变体已知。本文研究了使用一般激活函数的网络的最小宽度。具体地，我们关注可压缩函数，这些函数可以通过与仿射变换交替组合来逼近恒等函数和二元阶跃函数。我们证明，对于使用可压缩激活函数的网络，要通用逼近从$[0,1]^{d_x}$到$\mathbb R^{d_y}$的$L^p$函数，最小宽度为$\max\{d_x,d_y,2\}$，除非$d_x=d_y=1$；如果激活函数是单调的，则对于$d_x=d_y=1$也成立相同的界。然后我们给出了可压缩性的充分条件，并证明了所有非仿射解析函数和一类分段函数都是可压缩的，即我们的最小宽度结果适用于这些一般类别的激活函数。