度量空间中多类原型算法的普适一致性与收敛速率

我们研究了度量空间中多类分类问题的简单最近邻原型规则的普适一致性与收敛速率。我们首先证明，一种名为 Proto-NN 的新型数据依赖划分规则在任意容许普适一致规则的度量空间中都是普适一致的。Proto-NN 是对 OptiNet 的显著简化，OptiNet 是最近提出的一种基于压缩的算法，迄今为止是唯一已知在这种一般设定下普适一致的算法。在实践中，Proto-NN 更易于实现且计算复杂度更低。接着我们研究超额误差概率的收敛速率。我们首先在间隔条件与一种新的广义 Lipschitz 条件下得到了标准 $k$-NN 规则的速率。后者是将最近提出的从 $\mathbb R^d$ 到度量空间的修正 Lipschitz 条件的推广。与修正 Lipschitz 条件类似，新条件避免了对数据分布的任何有界性假设。虽然 Proto-NN 的速率问题尚待解决，但我们展示了第二种在 $k$-NN 与 Proto-NN 之间混合的原型规则，其达到了与 $k$-NN 相同的速率，同时享有与 Proto-NN 类似的计算优势。然而，与 $k$-NN 一样，该混合规则在一般情况下并不一致。