通用逼近的最小宽度

宽度受限网络的通用逼近性质已作为经典深度受限网络通用逼近结果的对偶被研究。然而，实现通用逼近的临界宽度尚未依据输入维度 $d_x$ 与输出维度 $d_y$ 被精确刻画。本工作中，我们针对使用 ReLU 激活函数的网络在此方向上给出首个确定性结果：$L^p$ 函数通用逼近所需的最小宽度恰为 $\max\{d_x+1,d_y\}$。我们还证明相同结论对 ReLU 的一致逼近不成立，但辅以阈值激活函数时成立。我们的证明技术亦可用于推导使用一般激活函数的网络实现通用逼近所需最小宽度的更紧上界。