Dropout神经网络中的通用逼近

我们证明了一系列dropout神经网络的两条通用逼近定理。这些是前馈神经网络，其中每条边被赋予一个随机的 $\{0,1\}$ 值滤波器，具有两种操作模式：第一种中每条边的输出乘以其随机滤波器，产生随机输出；第二种中每条边的输出乘以其滤波器的期望，得到确定性输出。通常在训练期间使用随机模式，在测试和预测期间使用确定性模式。两条定理均具有以下形式：给定待逼近函数和阈值 $\varepsilon>0$，存在一个以概率和在 $L^q$ 中均 $\varepsilon$-接近的dropout网络。第一条定理适用于随机模式下的dropout网络。它对激活函数假设很少，适用于广泛网络类，甚至可应用于神经网络以外的逼近方案。其核心是一个代数性质，表明确定性网络可在期望上被随机网络精确匹配。第二条定理作出更强假设并给出更强结果。给定待逼近函数，它给出同时在两种模式下逼近的网络存在性。证明组件包括用独立副本递归替换边，以及将所得更大网络耦合到输入的特殊第一层替换。待逼近函数假设为一般赋范空间的元素，逼近在相应范数下度量。网络被显式构造。由于证明方法不同，两个结果独立地洞察了随机dropout网络的逼近性质。由此我们确立dropout神经网络广泛满足通用逼近性质。