稀疏统计机器学习的 ADMM 算法正则化路径
统计方法学
2015-04-28 v1
摘要
基于算子分裂的优化方法在求解稀疏正则化统计机器学习模型时正变得流行。尽管许多人已提出快速算法在单一正则化参数下解决这些问题，但明显较少关注计算正则化路径，或在整个正则化参数范围内求解优化问题以获得稀疏模型序列。在本章中，我们旨在利用经典算子分裂方法——交替方向乘子法（ADMM）的构建模块，快速近似与正则化路径相关的稀疏模型序列，用于统计模型选择。我们首先提出一种使用热启动快速计算正则化路径的 ADMM 算法。然后，通过在此热启动 ADMM 算法上采用近似，我们提出了一种称为 ADMM 算法正则化路径的新概念。我们的方法能在通常少于使用 ADMM 在单一正则化参数下解决问题所需的计算时间内，快速勾勒出与正则化路径相关的稀疏模型序列。我们通过三个流行示例展示了我们方法的适用性和显著的计算节省：稀疏线性回归、降秩多任务学习和凸聚类。
引用
@article{arxiv.1504.06637,
title = {ADMM Algorithmic Regularization Paths for Sparse Statistical Machine Learning},
author = {Yue Hu and Eric Chi and Genevera I. Allen},
journal= {arXiv preprint arXiv:1504.06637},
year = {2015}
}
备注
27 pages, 4 figures