AOSO-LogitBoost：面向多类问题的自适应一对一 LogitBoost
机器学习
2012-07-05 v3 人工智能
计算机视觉与模式识别
摘要
本文提出了在使用多类 LogitBoost 进行分类时对模型学习的改进。受统计学视角的启发，LogitBoost 可被视为加法树回归。在此设定下的两个重要因素是：1) 由于和为零约束导致的分类器输出耦合，以及 2) 在计算树节点分裂增益和节点值拟合时出现的稠密海森矩阵。通常，此设定对于可处理的模型学习算法而言过于复杂。然而，对该设定进行过于激进的简化可能导致性能下降。例如，原始 LogitBoost 的表现不如 ABC-LogitBoost，原因在于后者对上述两个因素的处理更为细致。在本文中，我们提出了针对 LogitBoost 设定中两个主要困难的技术：1) 我们采用向量树（即每个节点值为向量）以强制实施和为零约束，以及 2) 我们使用自适应块坐标下降法，在计算树分裂增益和节点值时利用稠密海森矩阵。与原始实现及 ABC-LogitBoost 实现相比，在一系列公共数据集上观察到了更高的分类准确率和更快的收敛速度。
引用
@article{arxiv.1110.3907,
title = {AOSO-LogitBoost: Adaptive One-Vs-One LogitBoost for Multi-Class Problem},
author = {Peng Sun and Mark D. Reid and Jie Zhou},
journal= {arXiv preprint arXiv:1110.3907},
year = {2012}
}
备注
8-pages camera ready version for ICML2012