稀疏正则化估计的对偶增广拉格朗日算法的超线性收敛
机器学习
2011-06-07 v3 机器学习
统计方法学
摘要
我们分析了一种最近提出的用于正则化估计的算法——对偶增广拉格朗日(DAL)的收敛行为。我们的分析基于将DAL重新解释为一种近端最小化算法。我们在理论上证明，在某些条件下，DAL在非渐近和全局意义上超线性收敛。由于在机器学习背景下对稀疏估计问题进行了特殊建模，我们所作的假设比传统增广拉格朗日算法分析中的假设更温和、更自然。此外，这种新的解释使我们能够将DAL推广到各种稀疏估计问题。我们通过大规模ℓ1正则化逻辑回归问题实验性地证实了我们的分析，并在合成数据集和基准数据集上广泛比较了DAL算法与先前提出算法的效率。
引用
@article{arxiv.0911.4046,
title = {Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation},
author = {Ryota Tomioka and Taiji Suzuki and Masashi Sugiyama},
journal= {arXiv preprint arXiv:0911.4046},
year = {2011}
}
备注
51 pages, 9 figures