神经网络何时能学习连通决策区域？
机器学习
2019-01-28 v1 机器学习
摘要
先前的工作质疑了神经网络决策区域在何种条件下是连通的，并进一步展示了相应理论对分类器对抗操纵问题的影响。已经证明，对于包括 leaky ReLU 在内的一类激活函数，具有金字塔结构（即没有任何层的隐藏单元数多于输入维度）的神经网络必然产生连通的决策区域。在本文中，我们进一步发展了神经网络决策区域连通的充分必要条件，从而推进了这一重要结果。然后，我们应用我们的框架来克服现有工作的局限性，并进一步研究对于更广泛的激活函数类别（包括广泛使用的 ReLU、sigmoid、tanh、softplus 和指数线性函数），神经网络学习连通区域的能力。
引用
@article{arxiv.1901.08710,
title = {When Can Neural Networks Learn Connected Decision Regions?},
author = {Trung Le and Dinh Phung},
journal= {arXiv preprint arXiv:1901.08710},
year = {2019}
}