PIANO：一种用于多项与稀疏多项逻辑回归的快速并行迭代算法
机器学习
2020-02-24 v1 机器学习
最优化与控制
摘要
多项逻辑回归是一种被广泛研究的分类工具，已应用于图像处理、计算机视觉以及生物信息学等诸多领域。在有监督分类场景下，多项逻辑回归模型通过优化似然目标来学习权重向量以区分任意两类。随着大数据的到来，数据的泛滥导致权重向量维度巨大且类别数量剧增，使得适用于模型估计的经典方法在计算上不可行。为应对此问题，我们在此提出一种并行迭代算法：多项逻辑回归并行迭代算法（PIANO），其基于优化最小化（Majorization Minimization）过程，并可并行更新权重向量的每个元素。此外，我们还展示了 PIANO 可轻松扩展以解决稀疏多项逻辑回归问题——因其诱人的特征选择性质而被广泛研究。具体而言，我们推导出 PIANO 在 l1 与 l0 正则化下求解稀疏多项逻辑回归问题的扩展。我们还证明了 PIANO 收敛到多项与稀疏多项逻辑回归问题的驻点。我们进行了仿真以将 PIANO 与现有方法比较，发现所提算法在收敛速度方面优于现有方法。
引用
@article{arxiv.2002.09133,
title = {PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression},
author = {R. Jyothi and P. Babu},
journal= {arXiv preprint arXiv:2002.09133},
year = {2020}
}