关于实现线性可分所需节点数上界的一般化
机器学习
2018-02-13 v1 机器学习
摘要
神经网络研究中的一个重要问题是如何选择节点数和层数以求解分类问题。我们基于 An 等人 (2015) 的早期结果，通过推导具有两个隐藏层网络中实现线性可分所需节点数的上界，提供了新的直观认识。具体而言，我们证明如果数据可用 N 个有限集描述，且所用激活函数 f 是非常数、递增且具有左渐近线的，我们可推导出将这些集合线性分离需要多少节点。这将是一个依赖于数据结构的上界。该结构可用一种算法进行分析。对于泄漏修正线性激活函数，我们单独证明在斜率满足某些条件时，与上述激活函数相同数量的层和节点即已足够。我们通过实验验证了我们的论断。
引用
@article{arxiv.1802.03488,
title = {Generalization of an Upper Bound on the Number of Nodes Needed to Achieve Linear Separability},
author = {Marjolein Troost and Katja Seeliger and Marcel van Gerven},
journal= {arXiv preprint arXiv:1802.03488},
year = {2018}
}
备注
Presented at the 29th Benelux Conference on Artificial Intelligence (BNAIC 2017)