神经套索：套索与神经网络的一种统一方法
机器学习
2023-09-08 v1 机器学习
摘要
近年来，将统计学与机器学习领域的技术相结合以获取两种方法优势的兴趣日益增长。在本文中，用于变量选择的统计技术套索（lasso）通过神经网络来表示。观察到，尽管统计方法与其神经版本具有相同的目标函数，但由于优化方式不同而有所区别。具体而言，神经版本通常使用单个验证集一步优化，而统计对应方法则基于交叉验证采用两步优化。统计方法更精细的优化带来了更精确的参数估计，尤其在训练集较小时。为此，本文提出一种模仿统计框架的标准神经网络训练方法的修正方案。在上述修正的开发过程中，产生了一种用于识别显著变量的新优化算法。使用合成与真实数据集的实验结果表明，该新优化算法比此前三种优化方法中的任何一种都具有更好的性能。
引用
@article{arxiv.2309.03770,
title = {Neural lasso: a unifying approach of lasso and neural networks},
author = {David Delgado and Ernesto Curbelo and Danae Carreras},
journal= {arXiv preprint arXiv:2309.03770},
year = {2023}
}