用于加速并行坐标下降的特征聚类
机器学习
2012-12-19 v1 分布式、并行与集群计算
机器学习
最优化与控制
摘要
大规模 L1 正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法及其实现对高效解决这些问题至关重要。基于先前针对 L1 正则化问题的坐标下降算法研究，我们引入了一类称为块贪婪坐标下降（block-greedy coordinate descent）的新算法族，该算法族包含 SCD、Greedy CD、Shotgun 和 Thread-Greedy 等几种现有算法作为特例。我们给出了块贪婪算法族的统一收敛性分析。分析表明，若对特征进行聚类使得不同块间特征的最大内积较小，则块贪婪坐标下降能更好地利用并行性。我们的理论收敛性分析得到了来自多种现实世界应用数据的实验结果支持。我们希望所提供的算法方法和收敛性分析不仅能推动该领域的发展，还能鼓励研究人员系统地探索解决大规模 L1 正则化问题的算法设计空间。
引用
@article{arxiv.1212.4174,
title = {Feature Clustering for Accelerating Parallel Coordinate Descent},
author = {Chad Scherrer and Ambuj Tewari and Mahantesh Halappanavar and David Haglin},
journal= {arXiv preprint arXiv:1212.4174},
year = {2012}
}
备注
Accepted for publication in the proceedings of NIPS (Neural Information Processing Systems Foundations) 2012, Lake Tahoe, Nevada