自编码器在聚类与嵌入上的联合优化
机器学习
2021-05-04 v2 机器学习
摘要
深度嵌入聚类已成为利用深度神经网络对对象进行无监督分类的主流方法。最流行方法的优化在深度自编码器的训练与自编码器嵌入的 k-means 聚类之间交替进行。然而，这种历时性设置使前者无法受益于后者所获得的宝贵信息。在本文中，我们提出一种替代方案，其中自编码器与聚类被同时学习。这是通过提供新颖的理论见解实现的，我们表明某类高斯混合模型（GMMs）的目标函数可以自然地被重新表述为一隐藏层自编码器的损失函数，从而继承 GMM 内置的聚类能力。该简单神经网络被称为聚类模块，可被集成到深度自编码器中，形成能够联合学习聚类与嵌入的深度聚类模型。实验证实了聚类模块与高斯混合模型之间的等价性。进一步评估肯定了我们的深度架构的经验相关性，因为它在多个数据集上优于相关基线。
引用
@article{arxiv.2012.03740,
title = {Joint Optimization of an Autoencoder for Clustering and Embedding},
author = {Ahcène Boubekki and Michael Kampffmeyer and Robert Jenssen and Ulf Brefeld},
journal= {arXiv preprint arXiv:2012.03740},
year = {2021}
}