一种快速且有效的欧几里得反聚类方法:基于分配的反聚类算法
机器学习
2026-01-13 v1 离散数学
摘要
反聚类问题是将一组对象划分为K个等大小的反聚类,使得反聚类内部距离之和最大化。反聚类问题是NP难的。我们关注欧几里得空间中的反聚类,在该空间中,输入数据为表格数据,每个对象由D维特征向量表示。距离衡量为各向量之间的平方欧几里得距离。欧几里得反聚类的应用包括社会科学,特别是心理学中的K折交叉验证,其中每个折叠应是整个数据集的良好代表,以及神经网络训练中用于创建mini批次的分层K切分。在 particular,机器学习应用涉及百万级数据集和非常大的K值,使得可扩展的反聚类算法至关重要。现有算法要么是只能求解小规模实例的精确方法,要么是启发式方法,其中最可扩展的是基于交换的启发式方法fast_anticlustering。我们提出了一种新算法,即基于分配的反聚类算法(ABA),其可扩展到非常大的规模实例。计算研究表明,ABA在解题质量和运行时间方面均优于fast_anticlustering。此外,ABA能够在短时间内扩展到数百万个对象和数十万个反聚类的规模,远远超出fast_anticlustering的处理能力。作为表格数据的平衡K切分方法,ABA在解题质量和运行时间方面均优于众所周知的METIS方法。ABA算法的代码已在GitHub上提供。
引用
@article{arxiv.2601.06351,
title = {A Fast and Effective Method for Euclidean Anticlustering: The Assignment-Based-Anticlustering Algorithm},
author = {Philipp Baumann and Olivier Goldschmidt and Dorit S. Hochbaum and Jason Yang},
journal= {arXiv preprint arXiv:2601.06351},
year = {2026}
}