基于 Dirichlet 过程 Gaussian 混合与 Alpha Jensen-Shannon 散度聚类损失的深度聚类
机器学习
2024-12-13 v1 计算机视觉与模式识别
摘要
深度聚类是深度学习中的一个新兴主题，其中传统聚类在深度学习特征空间中进行。然而，聚类与深度学习往往是相互排斥的。在基于自编码器的深度聚类中，挑战在于如何同时优化聚类和维度缩减，使得隐藏层的权重不仅受到重建损失的指导，也受到与聚类相关的损失函数的指导。当前的最先进技术有两个根本性缺陷：首先，他们依赖于 Kullback-Leibler 散度的数学便利性作为聚类损失函数，但前者是非对称的。其次，他们假设在感兴趣的数据集上始终可获得聚类数目的先验知识。这篇论文试图改进这两个问题。在第一个问题上，我们使用 Jensen-Shannon 散度来克服非对称性，具体使用闭形式变体。接下来，我们引入一种使用 Dirichlet 过程 Gaussian 混合模型的无限聚类表示，用于在潜空间中进行联合聚类和模型选择，我们称之为深度模型选择。在潜空间中的聚类数并非固定，而是随着训练逐渐接近最优数量而变化。因此，不需要先验知识。我们在大规模类别数数据集上（如 MIT67 和 CIFAR100）评估了所提出的深度模型选择方法，并与传统模型选择方法以及变分贝叶斯模型和深度聚类方法进行了比较，结果令人信服。
引用
@article{arxiv.2412.08940,
title = {Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss},
author = {Kart-Leong Lim},
journal= {arXiv preprint arXiv:2412.08940},
year = {2024}
}