真实聚类并非最优聚类
最优化与控制
2023-05-23 v1
摘要
数据聚类是数据科学中最重要且最具挑战性的课题之一。最小平方和聚类（MSSC）问题要求将数据点聚为 个簇，使得数据点与各自簇中心（质心）之间平方距离之和最小。该问题是 NP-hard 的，但存在精确求解器可针对小规模或中等规模实例求最优解。本文中，我们使用一种基于半定规划松弛、称为 SOS-SDP 的分支定界求解器，针对数据提供方给出了真实聚类的多个真实与人工数据集，计算其在各种 下的 MSSC 问题最优解。接着，我们使用若干外在和内在度量来评估最优聚类与真实聚类的匹配程度，以及这些聚类相对于内在度量所依据准则的表现。我们的计算表明，真实聚类通常远离 MSSC 问题的最优解。此外，在真实聚类上评估的内在度量通常显著劣于最优聚类。然而，当真实聚类呈彼此良好分离的凸集形式（例如椭球）时，真实聚类非常接近最优聚类。
引用
@article{arxiv.2305.13218,
title = {Ground truth clustering is not the optimum clustering},
author = {Lucia Absalom Bautista and Timotej Hrga and Janez Povh and Shudian Zhao},
journal= {arXiv preprint arXiv:2305.13218},
year = {2023}
}
备注
23 pages; 2 figures, 5 tables