基于复杂度量的在线分类

我们提出了一个针对复杂且不可分解的性能度量（如F-measure和Jaccard measure）的一致二分类框架与分析。所提框架具有通用性，适用于批量和在线学习，以及线性和非线性模型。我们的工作遵循近期结果，即许多复杂度量的贝叶斯最优分类器由正类条件概率的阈值化给出。本手稿扩展了该阈值化表征——表明对于广泛的模型和性能度量，效用关于阈值是严格局部拟凹的。这进而启发了用于阈值估计的简单归一化梯度上升更新。我们给出了所得过程的有限样本后悔分析。特别地，批量情况的风险以与底层条件概率估计相同的速率收敛到贝叶斯风险，而所提在线算法的风险以依赖于条件概率估计风险的速率收敛。例如，在条件概率模型为逻辑回归的特殊情况下，我们的过程在批量和在线训练中均达到$O(\frac{1}{\sqrt{n}})$的样本复杂度。实证评估表明，所提算法在实践中优于替代方法，在各种度量和数据集上具有相当或更好的预测性能并减少了运行时间。