用于在线AUC最大化的自适应次梯度方法
机器学习
2016-02-02 v1
摘要
最大化 AUC 性能的学习是机器学习与人工智能中的一个重要研究问题。不同于常受可扩展性差困扰的传统批处理最大化 AUC 学习方法，近年来出现了一些尝试通过单遍在线学习方法最大化 AUC 的新兴研究。尽管它们报告了令人鼓舞的结果，现有的在线 AUC 最大化算法常采用简单的在线梯度下降方法，未能利用在线学习过程中观测数据的几何知识，因此可能承受相对较大的遗憾（regret）。为解决上述局限，本工作中我们探索了一种新颖的自适应在线 AUC 最大化（Adaptive Online AUC Maximization, AdaOAM）算法，其采用自适应梯度方法，利用历史梯度的知识进行信息更丰富的在线学习。AdaOAM 新的自适应更新策略对参数设置较不敏感，并保持了与先前非自适应对应方法相同的时间复杂度。此外，我们将该算法扩展以处理高维稀疏数据（SAdaOAM），并通过执行惰性梯度更新解决解中的稀疏性。我们分析了理论界，并在各类数据集上评估了其经验性能。所获得的令人鼓舞的经验结果清晰地凸显了所提算法的有效性与高效性。
引用
@article{arxiv.1602.00351,
title = {Adaptive Subgradient Methods for Online AUC Maximization},
author = {Yi Ding and Peilin Zhao and Steven C. H. Hoi and Yew-Soon Ong},
journal= {arXiv preprint arXiv:1602.00351},
year = {2016}
}