在线多类逻辑回归的高效方法
机器学习
2021-10-12 v2 机器学习
摘要
多类逻辑回归是机器学习中的一项基础任务，在分类与提升中有应用。先前的工作（Foster 等，2018）强调了非恰当预测器的重要性，以在在线多类逻辑回归问题中实现“快速率”，而不受比较类中的预测器范数等次要问题参数的指数级影响。尽管 Foster 等（2018）引入了统计最优算法，但由于其运行时间复杂度是时间范围和输入特征向量维度的大多项式，该算法在实践中计算上难以处理。在本文中，我们针对该问题开发了一种新算法 FOLKLORE，其运行速度显著快于 Foster 等（2018）的算法——每次迭代的运行时间随维度呈二次方缩放——代价是在后悔界中对预测器范数产生线性依赖。这给出了首个用于在线多类逻辑回归的实用算法，解决了 Foster 等（2018）的一个开放问题。此外，我们表明我们的算法可应用于在线 bandit 多类预测与在线多类提升，相较 Foster 等（2018）中的算法产生了更实用的两种问题算法且性能保证相似。最后，我们还给出了我们算法的在线到批量转换结果。
引用
@article{arxiv.2110.03020,
title = {Efficient Methods for Online Multiclass Logistic Regression},
author = {Naman Agarwal and Satyen Kale and Julian Zimmert},
journal= {arXiv preprint arXiv:2110.03020},
year = {2021}
}