论神经网络学习的复杂性
机器学习
2017-07-18 v1 计算复杂性
摘要
神经网络的惊人经验成功目前缺乏严格的理论解释。面对现有的复杂性理论下界，这样的解释会采取什么形式？第一步可能是证明由具有单个隐藏层、平滑激活函数和良性输入分布生成的神经网络数据可以被高效学习。我们在此展示了一个全面的下界排除了这种可能性：对于广泛的激活函数类（包括所有当前使用的），以及从任何对数凹分布中抽取的输入，存在一族单隐藏层函数，其输出是一个求和门，在精确意义下难以学习：任何统计查询算法（包括所有已知变体的随机梯度下降，使用任何损失函数）即使使用与输入维度成反比的容差，也需要指数数量的查询。此外，这个困难函数族在单隐藏层中使用少量（亚线性于维度）激活单元即可实现。该下界对真实权重的微小扰动也是鲁棒的。系统性实验说明了如分析所预测的训练误差中的相变。
引用
@article{arxiv.1707.04615,
title = {On the Complexity of Learning Neural Networks},
author = {Le Song and Santosh Vempala and John Wilmes and Bo Xie},
journal= {arXiv preprint arXiv:1707.04615},
year = {2017}
}
备注
21 pages, 2 figures