基于块坐标下降的组 Lasso 与弹性网惩罚回归快速可扩展路径求解器
统计计算
2024-05-15 v1 机器学习
数学软件
软件工程
摘要
我们开发了基于块坐标下降的快速且可扩展的算法，用于求解广义线性模型沿正则化路径的组 Lasso 和组弹性网。当损失为通常的最小二乘损失（高斯损失）时，我们给予了特别关注。我们证明，每个块坐标更新可以使用牛顿法高效求解，并进一步使用自适应二分法进行改进，以二次收敛速率求解这些更新。我们的基准测试表明，我们的软件包 adelie 在各种模拟和真实数据集上的运行速度比次快软件包快 3 到 10 倍。此外，我们证明我们的软件包也是一个有竞争力的 Lasso 求解器，其性能与流行的 Lasso 软件包 glmnet 相当。
引用
@article{arxiv.2405.08631,
title = {A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent},
author = {James Yang and Trevor Hastie},
journal= {arXiv preprint arXiv:2405.08631},
year = {2024}
}