稀疏神经网络在非线性干草堆中找到何种针
机器学习
2020-06-09 v1 机器学习
数据分析、统计与概率
摘要
在人工神经网络（ANNs）中使用诱导稀疏性的惩罚可避免过拟合，尤其在噪声较高且训练集相对于特征数较小的情形下。对于线性模型，在恰当选择惩罚参数的情形下，此类方法可证明也能以高概率恢复重要特征。设定惩罚参数的典型方式是通过划分数据集并执行交叉验证，这（1）计算代价高，且（2）在数据集本已很小不宜进一步划分时（例如全基因组序列数据）并不可取。本研究中，我们建立理论基础，基于在零特征假设下以高概率界定损失函数在零处梯度的无穷范数，无需交叉验证即可选择惩罚参数。我们的方法是将 Donoho 与 Johnstone（1994）的通用阈值推广到非线性 ANN 学习。我们在一个简单模型上进行了一组全面的蒙特卡洛模拟，数值结果表明所提方法的有效性。
引用
@article{arxiv.2006.04041,
title = {What needles do sparse neural networks find in nonlinear haystacks},
author = {Sylvain Sardy and Nicolas W Hengartner and Nikolai Bonenko and Yen Ting Lin},
journal= {arXiv preprint arXiv:2006.04041},
year = {2020}
}
备注
8 pages, 2 figures