BrownNNe: 布朗非局域神经元与激活函数

通常认为，在深度学习架构中使用随机激活函数会导致模型在泛化能力方面表现更优。然而，文献中缺乏对这一启发式假设的严谨陈述与理论证明。本文作出了若干新贡献。我们定义了一种新的非局域方向导数的概念，分析了其理论性质（存在性与收敛性）。其次，通过概率化推导，我们表明非局域导数是 $\epsilon$ 次梯度，并推导了使用非局域导数的随机梯度下降类方法的样本复杂度。最后，根据我们对 Holder 连续函数非局域梯度的分析，我们观察到布朗运动的样条路径具有非局域方向导数，且非局域导数的分布为具有可计算均值与标准差的高斯过程。利用非局域方向导数的理论，我们解决了一个在图像 articulation 流形上进行参数估计的高度非光滑与非凸问题。使用融入布朗运动的 ReLU 激活函数（替代常规梯度进行反向传播），我们在多个经典深度学习架构上进行实验。实验表明，在训练数据较少的情形下，布朗神经激活函数在泛化能力方面优于确定性 ReLU。