神经网络的上行Bregman训练

我们引入了一种用于训练以前馈神经网络为对象、以（可能非光滑的）邻近映射为激活函数的数学新公式。该公式基于Bregman距离，其关键优势在于关于网络参数的偏导数无需计算网络激活函数的导数。我们不使用一阶优化方法与反向传播相结合来估计参数（此为当前最优方法），而是提出利用该新公式特定结构的非光滑一阶优化方法。我们给出了若干数值结果，表明相较于更常规的训练框架，这些训练方法同样良好甚至更适用于带有稀疏编码的基于神经网络的分类器与（去噪）自编码器的训练。