基于伪监督与图活动正则化的神经网络聚类隐表示学习
机器学习
2018-02-12 v1 机器学习
摘要
本文提出一种新颖的无监督聚类方法，利用通过伪分类目标间接引入的隐藏信息。具体而言，我们为每个观测随机分配一个伪父类标签，随后通过施加与该标签相关的领域特定变换来修改之。生成的伪观测-标签对随后用于训练带有自动聚类输出层（ACOL）的神经网络，该输出层为每个伪父类引入多个 softmax 节点。由于基于图活动正则化（GAR）项的无监督目标，随着借助领域特定变换捕获的隐藏信息在训练中传播，每个父类的 softmax 副本被特化为不同的聚类。最终我们获得了对 k-means 友好的隐表示。此外，我们展示了所选取变换类型如何影响性能，并有助于传播在揭示未知聚类中起作用的隐信息。我们的结果表明，在 MNIST、SVHN 与 USPS 数据集上，该方法取得了无监督聚类任务的 SOTA 性能，且达到了文献中迄今报道的最高准确率。
引用
@article{arxiv.1802.03063,
title = {Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization},
author = {Ozsel Kilinc and Ismail Uysal},
journal= {arXiv preprint arXiv:1802.03063},
year = {2018}
}
备注
To appear in proceedings of the International Conference on Learning Representations 2018