具有超表达激活函数与整数权重的神经网络

给出一个激活函数 $\sigma$ 的实例，使得具有激活函数 $\{\sigma, \lfloor\cdot\rfloor\}$、整数权重以及依赖于 $d$ 的固定架构的网络能够逼近 $[0,1]^d$ 上的连续函数。推导了用于对 Hölder 连续函数进行 $\varepsilon$ 逼近所需的整数权重范围，由此得到对于给定 $n$ 个样本、未知 $\beta$-Hölder 连续函数的神经网络回归估计的收敛速率为 $n^{\frac{-2\beta}{2\beta+d}}\log_2 n$。