深层窄多层感知机的最小宽度:一种微分同胚方法

近年来,人们越来越关注确定深层窄多层感知机(MLP)实现通用逼近性质所需的最小宽度。在这些挑战中,一项尤为困难的任务是在一致范数下逼近连续函数,这从其下界与上界的显著差距中可见一斑。为解决此问题,我们提出一个框架,将寻找深层窄 MLP 的最小宽度简化为确定一个纯几何函数,记为 $w(d_x, d_y)$。该函数仅依赖于输入和输出维度,分别表示为 $d_x$ 和 $d_y$。两个关键步骤支撑该框架。首先,我们证明在给定少量额外宽度时,深层窄 MLP 可以逼近一个 $C^2$ 微分同胚。随后,利用该结果,我们证明 $w(d_x, d_y)$ 等于深层窄 MLP 实现通用性所需的最优最小宽度。借助上述框架和惠特尼嵌入定理,我们给出了最小宽度的上界,为 $\operatorname{max}(2d_x+1, d_y) + \alpha(\sigma)$,其中 $0 \leq \alpha(\sigma) \leq 2$ 表示依赖于激活函数的常数。此外,对于输入和输出维度均等于 2 的情况,我们给出了最小宽度的下界为 $4$。