用于分类的无界输出网络
机器学习
2018-07-26 v1 机器学习
摘要
我们提出了基于期望能量的受限玻尔兹曼机（EE-RBM）作为一种用于分类的判别型 RBM 方法。EE-RBM 的两个特点是输出无界，且正确分类的目标值被设置为远大于 1 的值。在本研究中，通过将 EE-RBM 方法的特征引入前馈神经网络，我们提出了无界输出网络（UBnet），其具有三个特征：（1）无界输出单元；（2）正确分类的目标值被设置为远大于 1 的值；（3）模型通过修正的均方误差目标进行训练。我们使用 MNIST、CIFAR-10 和 CIFAR-100 基准数据集评估我们的方法。我们首先在 MNIST 上针对浅层 UBnet 证明，将目标值设置为等于隐藏单元数量的设定显著优于目标值设为 1 的设定，并且其性能也优于标准神经网络约 25%。然后我们通过使用无界输出残差网络在三个数据集上取得高水平的分类性能来验证我们的方法。最后我们使用 MNIST 分析学习到的特征与权重，并证明 UBnet 相比使用 softmax 输出层并通过交叉熵目标训练网络的标准方法对对抗样本要鲁棒得多。
引用
@article{arxiv.1807.09443,
title = {Unbounded Output Networks for Classification},
author = {Stefan Elfwing and Eiji Uchibe and Kenji Doya},
journal= {arXiv preprint arXiv:1807.09443},
year = {2018}
}
备注
8 pages, 7 figures