基于预算的可扩展支持向量聚类

由于在解决复杂多样的聚类或离群点检测问题中的应用，基于支持向量的聚类近期引起了广泛关注。基于支持向量的聚类方法通常经历两个阶段：寻找新颖性域和执行聚类分配。为了寻找新颖性域，当前求解器所给出的训练时间相对于训练规模通常呈二次方以上的复杂度，从而阻碍了基于支持向量的聚类方法在大规模数据集上的应用。在本文中，我们提出将随机梯度下降（SGD）框架应用于基于支持向量的聚类的第一阶段以寻找新颖性域，并提出一种新策略来执行聚类分配。然而，将 SGD 直接应用于基于支持向量的聚类的第一阶段容易受到核化灾难的影响，即模型规模随时间累积的数据规模线性增长。为了解决这个问题，我们引入了预算方法，该方法允许我们将模型规模限制在一个较小的预算内。我们针对聚类分配的新策略通过将完整训练集上的聚类分配任务简化为在显著更小的集合上的相同任务，实现了快速计算。我们还对所提方法的收敛速率提供了严格的理论分析。最后，我们在著名的聚类数据集上验证了所提方法，结果表明，与基线方法相比，所提方法在实现显著加速的同时，提供了可比的聚类质量。