基于β散度的稀疏非负矩阵分解的极大极小化方法
机器学习
2024-03-13 v4 最优化与控制
摘要
本文针对带有β散度且对两个因子之一（如激活矩阵）进行稀疏正则化的非负矩阵 factorization，提出了新的乘法更新规则。众所周知，为避免病态表述，需要对另一因子（字典矩阵）的范数进行控制。标准做法是将字典的列约束为单位范数，这导致一个非平凡的优化问题。我们的方法利用将原问题重新参数化为一个等价的尺度不变目标函数的优化。由此，我们推导出块下降极大极小化算法，从而得到用于ℓ₁正则化或更具“侵略性”的对数正则化的简单乘法更新。与其他最先进方法不同，我们的算法具有普适性：可应用于任意β散度（即任意β值），并且带有收敛保证。我们使用多种数据集（人脸图像、音频谱图、高光谱数据和歌曲播放计数）与现有的启发式和拉格朗日方法进行了数值比较。我们表明，我们的方法在收敛时获得质量相近的解（相近的目标值），但显著减少了CPU时间。
引用
@article{arxiv.2207.06316,
title = {Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\beta$-divergence},
author = {Arthur Marmin and José Henrique de Morais Goulart and Cédric Févotte},
journal= {arXiv preprint arXiv:2207.06316},
year = {2024}
}