面向计算密集型 L1 正则化 M 估计量的近端拟牛顿法
机器学习
2015-01-26 v2
摘要
我们考虑了一类源于计算密集型 L1 正则化 M 估计量的优化问题，其中函数值或梯度值的计算代价非常高昂。一个特别受关注的实例是用于学习条件随机场 (CRFs) 的 L1 正则化最大似然估计 (MLE)，CRFs 是一类流行的统计模型，适用于序列标注、对齐以及具有标签分类体系的分类等各种结构化预测问题。CRFs 的 L1 正则化 MLE 优化特别昂贵，因为计算梯度值需要一个昂贵的推断步骤。在这项工作中，我们提出使用一种精心构建的近端拟牛顿算法来解决此类计算密集型 M 估计问题，其中我们采用了一种积极的主动集选择技术。本文的一个关键贡献是，通过利用强凸性的受限变体，我们证明了即使在缺乏强凸性的情况下，近端拟牛顿法也具有可证明的超线性收敛性。在我们的实验中，所提出的算法在序列标注和层次分类问题上比当前的最先进技术 (SOTA) 收敛得快得多。
引用
@article{arxiv.1406.7321,
title = {Proximal Quasi-Newton for Computationally Intensive L1-regularized M-estimators},
author = {Kai Zhong and Ian E. H. Yen and Inderjit S. Dhillon and Pradeep Ravikumar},
journal= {arXiv preprint arXiv:1406.7321},
year = {2015}
}