用LASSO人工神经网络在非线性干草堆中寻找针的相变
机器学习
2022-01-24 v1 机器学习
摘要
为拟合稀疏线性关联，带有单一超参数的LASSO稀疏诱导惩罚在某些 regime 下可证明能以高概率恢复重要特征（针），即使样本量小于输入向量的维度（干草堆）。近来被称为人工神经网络（ANN）的学习器在许多机器学习任务中展现出巨大成功，特别是拟合非线性关联。小学习率、随机梯度下降算法和大型训练集有助于应对深度神经网络中参数数量的爆炸。然而，很少有ANN学习器被开发和研究用于在非线性干草堆中寻找针。由单一超参数驱动，我们的ANN学习器如同稀疏线性关联那样，在检索针的概率上展现出相变，这是我们在其他ANN学习器中未观察到的。为选择我们的惩罚参数，我们推广了Donoho与Johnstone（1994）的通用阈值，该规则优于保守的（过多误检）且昂贵的交叉验证。在模拟退火的精神下，我们提出一种热启动稀疏诱导算法来求解高维、非凸且不可微的优化问题。我们进行精确的蒙特卡洛模拟以展示我们方法的有效性。
引用
@article{arxiv.2201.08652,
title = {A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks},
author = {Xiaoyu Ma and Sylvain Sardy and Nick Hengartner and Nikolai Bobenko and Yen Ting Lin},
journal= {arXiv preprint arXiv:2201.08652},
year = {2022}
}