一种用于基于 ReLU 的矩阵分解的加速交替部分 Bregman 算法
机器学习
2025-03-05 v1
摘要
尽管低秩估计在数据挖掘中取得了显著成功，但当应用于本质上缺乏低秩结构的数据时，其有效性会降低。为了解决这一局限性，本文聚焦于非负稀疏矩阵，旨在研究修正线性单元（ReLU）激活函数的内在低秩特性。我们首先提出了一种新颖的非线性矩阵分解框架，该框架包含一个综合正则化项，旨在同时促进聚类和压缩任务中有用的结构，如所得因子中的低秩性、稀疏性和非负性。由于其多块结构、非凸性、非光滑性以及缺乏全局梯度 Lipschitz 连续性，该公式化带来了显著的计算挑战。为了应对这些挑战，我们开发了一种加速交替部分 Bregman 近端梯度方法（AAPB），其显著特征在于能够实现多个变量的同时更新。在温和且具有理论依据的假设下，我们建立了所提算法的次线性和全局收敛性质。通过精心选择针对各种正则化项的核生成距离，我们推导出了相应的闭式解，同时始终保持 -光滑自适应性质对任意 成立。在图正则化聚类和稀疏 NMF 基压缩上的数值实验证实了我们的模型和算法的有效性。
引用
@article{arxiv.2503.02386,
title = {An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition},
author = {Qingsong Wang and Yunfei Qu and Chunfeng Cui and Deren Han},
journal= {arXiv preprint arXiv:2503.02386},
year = {2025}
}