用于在线监督与无监督学习的边界森林算法

我们描述了一种称为边界森林（BF）算法的新的基于实例的学习算法，可用于监督和无监督学习。该算法构建一片树森林，其节点存储先前见过的样本。它可以一次给出一个数据点并增量更新自身，因此本质上是在线的。很少有基于实例的算法同时具备此属性且速度快，而BF正是如此。这对于需要实时响应输入数据的应用至关重要。每个节点的子节点数量不是预先设定，而是从训练过程中获得，这使得算法对于可学习的流形数据非常灵活。我们在一组基准数据集上测试其泛化性能和速度，并详述在哪些设定下它优于当前最优（state of the art）。根据经验，我们发现训练时间随$O(DNlog(N))$缩放，测试时间随$O(Dlog(N))$缩放，其中D为维度，N为数据量。