ADMM-SOFTMAX：一种求解多项逻辑回归的 ADMM 方法
机器学习
2019-07-12 v2 机器学习
摘要
我们提出 ADMM-Softmax，一种用于求解多项逻辑回归（MLR）问题的交替方向乘子法（ADMM）。我们的方法面向具有大量样本和特征的有监督分类任务。它将 MLR 中的非线性优化问题解耦为三个可高效求解的步骤。特别地，ADMM-Softmax 的每次迭代由一个线性最小二乘问题、一组独立的小规模光滑凸问题以及一个平凡的对偶变量更新组成。最小二乘问题的求解可通过预计算分解或预条件子来加速，而光滑凸问题中的可分离性可轻易地跨样本并行化。对于两个图像分类问题，我们证明 ADMM-Softmax 相比 Newton-Krylov、拟牛顿和随机梯度下降方法取得了更好的泛化性能。
引用
@article{arxiv.1901.09450,
title = {ADMM-SOFTMAX : An ADMM Approach for Multinomial Logistic Regression},
author = {Samy Wu Fung and Sanna Tyrväinen and Lars Ruthotto and Eldad Haber},
journal= {arXiv preprint arXiv:1901.09450},
year = {2019}
}