$k$-均值中伪局部极小值的构造

$k$-均值聚类是无监督学习中的基本问题。该问题关注于将数据点划分为 $k$ 个簇，使得簇内方差最小。尽管其重要且应用广泛，$k$-均值问题的理论理解尚不完全令人满意。具有理论性能保证的现有算法常依赖于复杂（有时是人为的）算法技巧以及对数据的受限假设。主要挑战在于问题的非凸性质；特别地，除全局最优外还存在额外的局部解。此外，最简单且最流行的 $k$-均值算法，即 Lloyd 算法，在理论与实践中通常收敛于此类伪局部解。本文从新视角研究 $k$-均值问题，通过在具有 $k$ 个真实簇的概率生成模型下考察这些伪局部解的结构。一旦 $k=3$，即使对于分离良好且均衡的簇，伪局部极小值也可证明存在。其中一种局部极小值将两个中心置于一个真实簇，第三个中心置于另两个真实簇的中间。对于一般 $k$，一种局部极小值将多个中心置于一个真实簇，一个中心置于多个真实簇的中间。或许令人惊讶的是，我们证明在分离条件下这本质上是唯一的伪局部极小值类型。我们的结果适用于高斯混合或有界分布的 $k$-均值表述。我们的理论结果证实了已有的经验观测，并为若干改进的 $k$-均值聚类算法提供了依据。