基于正交非负矩阵分解模型与非凸惩罚优化的聚类方法
机器学习
2021-07-29 v5 机器学习
摘要
在其中一个因子矩阵上附加正交性约束的非负矩阵分解（NMF）模型，称为正交NMF（ONMF），已被发现是一种有前景的聚类模型，并且可以优于经典的K-means。然而，求解ONMF模型是一个具有挑战性的优化问题，因为正交性和非负性约束的耦合由于需要确定变量（正或零）的正确状态而给问题引入了混合组合特性。大多数现有方法通过各种优化技术直接以原始形式处理正交性约束，但无法扩展到大规模问题。在本文中，我们提出了一种新的基于ONMF的聚类公式，将正交性约束等价地转化为一组基于范数的非凸等式约束。然后我们应用非凸惩罚（NCP）方法将它们作为惩罚项加入目标函数，从而得到一个可有效求解的问题。我们分别研究了平滑惩罚公式和非平滑惩罚公式。我们建立了惩罚问题的理论条件，以期为基于ONMF的聚类问题提供可行的驻点解，并提出了求解两种NCP方法惩罚问题的高效算法。基于合成和真实数据集的实验结果表明，所提出的NCP方法计算时间高效，并且在聚类性能方面与现有K-means和基于ONMF的方法相当或优于它们。
引用
@article{arxiv.1906.00570,
title = {Clustering by Orthogonal NMF Model and Non-Convex Penalty Optimization},
author = {Shuai Wang and Tsung-Hui Chang and Ying Cui and Jong-Shi Pang},
journal= {arXiv preprint arXiv:1906.00570},
year = {2021}
}