ReLU函数非线性矩阵分解的外推且可收敛算法

ReLU矩阵分解（RMD）问题定义如下：给定稀疏非负矩阵$X$与分解秩$r$，求出秩为$r$的矩阵$\Theta$，使得$X\approx \max(0,\Theta)$。RMD是非线性矩阵分解（NMD）的一个特例，广泛应用于数据压缩、非随机缺失的矩阵完成以及流形学习。标准RMD模型最小化均方误差，即$\|X - \max(0,\Theta)\|_F^2$。对应的优化问题（Least-Squares RMD, LS-RMD）是不可导且高度非凸的。这促使Saul提出另一模型，称为Latent-RMD，通过引入潜在变量$Z$，满足$\max(0,Z)=X$，同时最小化$\|Z - \Theta\|_F^2$。我们的首要贡献是表明两种表述可能产生不同的低秩解$\Theta$。随后我们考虑对Latent-RMD的重新参数化，称为3B-RMD，其中$\Theta$被替换为低秩乘积$WH$，其中$W$有$r$列，$H$有$r$行。我们的第二个贡献是证明对3B-RMD应用分块坐标下降（block coordinate descent, BCD）的收敛性。我们的第三个贡献是提出BCD的一种新型外推变体，称为eBCD，我们证明了在温和假设下eBCD同样收敛。我们展示了eBCD相较于传统BCD在计算速度上显著加速，并在合成数据和真实数据集上表现出色。