基于 ReLU 函数的非线性矩阵分解加速算法

在本文中，我们研究如下非线性矩阵分解（NMD）问题：给定稀疏非负矩阵 $X$，寻找低秩矩阵 $\Theta$ 使得 $X \approx f(\Theta)$，其中 $f$ 为逐元素非线性函数。我们关注 $f(\cdot) = \max(0, \cdot)$（修正线性单元（ReLU）非线性激活）的情形。我们将相应问题称为 ReLU-NMD。我们首先简要概述为解决 ReLU-NMD 已开发的现有方法。随后我们引入两种新算法：（1）激进加速 NMD（A-NMD），其使用自适应 Nesterov 外推来加速现有算法；（2）三块 NMD（3B-NMD），其将 $\Theta = WH$ 参数化并显著降低了计算成本。我们还提出一种基于核范数作为秩函数代理的有效初始化策略。我们在合成与真实世界数据集上展示了所提算法（发布于 gitlab）的有效性。