利用凸神经网络打破维度灾难
机器学习
2016-11-01 v2 最优化与控制
统计理论
统计理论
摘要
我们考虑具有单隐藏层以及非递减齐次激活函数(如修正线性单元)的神经网络。通过让隐藏单元数量无界增长，并对输出权重使用经典的非欧几里得正则化工具，我们提供了对其泛化性能的详细理论分析，包括对逼近误差与估计误差的研究。我们特别表明它们能自适应于未知的底层线性结构，例如依赖于输入变量在低维子空间上投影的情况。此外，当对输入权重使用诱导稀疏性的范数时，我们表明可以实现高维非线性变量选择，而无需关于数据的任何强假设，且变量总数可能随观测数量呈指数级增长。另外，我们为添加新单元的非凸问题提供了简单的几何解释，该问题是持续多基函数学习框架中潜在困难的计算核心。我们提供了简单条件，使凸松弛能达到相同的泛化误差界，即使在无法找到常数因子近似时(例如，因为对于零齐次激活函数而言是NP难的)。我们未能找到足够强的凸松弛，并留下了多项式时间算法存在与否的开放问题。
引用
@article{arxiv.1412.8690,
title = {Breaking the Curse of Dimensionality with Convex Neural Networks},
author = {Francis Bach},
journal= {arXiv preprint arXiv:1412.8690},
year = {2016}
}