RDEC：将正则化集成到深度嵌入聚类中以处理不平衡数据集
机器学习
2018-12-07 v1
摘要
聚类是一项基础机器学习任务，可用于许多应用。随着深度神经网络（DNN）的发展，将DNN技术与聚类结合已成为新的研究方向并取得一定成功。然而，极少研究关注真实应用中常见的不平衡数据问题。本文提出一种聚类方法，正则化深度嵌入聚类（RDEC），将一种网络正则化技术——虚拟对抗训练（VAT）与称为深度嵌入聚类（DEC）的聚类方法相集成。DEC通过在潜空间将数据中围绕质心推得更密集来优化簇分配，但有时对质心初始位置敏感，尤其在不平衡数据情况下，少数类较少有机会被分配良好质心。RDEC利用VAT引入正则化，以确保模型对数据局部扰动的鲁棒性。VAT将原始空间中相似的数据在潜空间中拉得更近，使少数类数据聚拢，从而便于RDEC识别簇。结合DEC与VAT的优势，RDEC在平衡与不平衡基准/真实数据集上均达到最先进性能。例如，在MNIST数据集上准确率高达98.41%，在源自MNIST的高度不平衡数据集上达85.45%，较当前最佳结果高出近8%。
引用
@article{arxiv.1812.02293,
title = {RDEC: Integrating Regularization into Deep Embedded Clustering for Imbalanced Datasets},
author = {Yaling Tao and Kentaro Takagi and Kouta Nakata},
journal= {arXiv preprint arXiv:1812.02293},
year = {2018}
}
备注
16 pages, 6 figures, accepted by ACML2018