基于二次梯度的多项逻辑回归算法
机器学习
2023-03-30 v2 最优化与控制
摘要
多项逻辑回归，也称为多类逻辑回归和 softmax 回归，是一种基础的分类方法，将二值逻辑回归推广到多类问题。最近的工作提出了一种称为 的更快梯度，可加速二值逻辑回归训练，并给出了一种用于二值逻辑回归的增强型 Nesterov 加速梯度（NAG）方法。在本文中，我们将该工作推广到多类逻辑回归，并提出一种增强型自适应梯度算法（Adagrad），可加速原始 Adagrad 方法。我们在一些多类问题数据集上测试了增强型 NAG 方法和增强型 Adagrad 方法。实验结果表明，两种增强方法分别比其原始方法收敛更快。
引用
@article{arxiv.2208.06828,
title = {Multinomial Logistic Regression Algorithms via Quadratic Gradient},
author = {John Chiang},
journal= {arXiv preprint arXiv:2208.06828},
year = {2023}
}
备注
There is a good chance that the enhanced gradient methods for multiclass LR could be used in the classisation neural-network training via the softmax activation and the cross-entropy loss