随时间维护 AUC 与 $H$-measure

衡量分类器性能是机器学习中的一项重要任务。在计算该度量的算法运行时间方面，离线场景下（例如研究者开发分类器时）其所占作用很小。然而，若目标是随时间监控分类器性能，运行时间则变得至关重要。本文研究维护两种度量的三种算法。第一种算法在数据点增删时以 $O(\log n)$ 时间维护 ROC 曲线下面积（AUC）：通过将数据点维持在自平衡搜索树中的有序状态实现，并扩充该搜索树以在 $O(\log n)$ 时间内查询数据点的 ROC 坐标，从而以 $O(\log n)$ 时间维护 AUC。接下来两种算法涉及维护基于 ROC 曲线的替代度量 $H$-measure：计算该度量分两步，先求 ROC 曲线的凸包，再对凸包求和。我们证明可通过对经典凸包维护算法稍作修改来维护凸包；并表明在特定条件下可以 $O(\log^2 n)$ 时间精确计算 $H$-measure，若条件不满足则以 $O((\log n + \epsilon^{-1})\log n)$ 时间估计 $H$-measure。实证表明我们的方法远快于基线。