基于整流线网络的单调学习
机器学习
2019-01-15 v4 神经与进化计算
最优化与控制
机器学习
摘要
我们引入一种新的神经网络模型，以及一种易处理且单调的在线学习算法。我们的模型描述用于分类的前馈网络，每个类有一个输出节点。唯一的非线性操作是使用带偏置的 ReLU 函数进行整流。然而，整流器位于每条边上而非网络节点处。也存在权重，但这些是正的、静态的，并与节点相关联。我们的“整流线”网络能够表示任意布尔函数。仅学习网络边上的偏置参数。我们的方法相对于标准神经网络的另一不同之处是用约束替代了损失函数。该约束很简单，即与正确类相关联的输出节点的值应为零。我们的模型具有如下性质：为正确分类一个训练项所需的精确范数最小化参数更新，是可通过对网络进行几次遍历计算得到的二次规划的解。我们在 MNIST 和一些合成数据集上演示了使用此更新（称为顺序去激活（SDA））的训练算法。在采用节点权重的自然选择后，SDA 除描述网络结构的超参数外无其他超参数。我们的实验探索了一族稀疏扩展器网络中关于网络规模和深度的行为。
引用
@article{arxiv.1805.03963,
title = {Monotone Learning with Rectified Wire Networks},
author = {Veit Elser and Dan Schmidt and Jonathan Yedidia},
journal= {arXiv preprint arXiv:1805.03963},
year = {2019}
}
备注
41 pages, 21 figures, new experimental results, various improvements