一种用于基于 ReLU 的非线性矩阵分解的动量加速算法
机器学习
2024-10-01 v2 图像与视频处理
摘要
最近，由于非线性矩阵分解（NMD）与神经网络的密切联系，对其探索的兴趣日益增长。NMD 旨在从具有逐元素非线性函数的稀疏非负矩阵中寻找一个低秩矩阵。典型的选择是修正线性单元（ReLU）激活函数。为了解决现有基于 ReLU 的 NMD 模型（ReLU-NMD）中的过拟合问题，我们提出了一种 Tikhonov 正则化的 ReLU-NMD 模型，称为 ReLU-NMD-T。随后，我们引入了一种动量加速算法来处理 ReLU-NMD-T 模型。使我们工作区别于大多数现有研究的一个显著特点是，我们的算法中同时结合了正动量参数和负动量参数。我们在真实数据集上的数值实验表明了所提出模型和算法的有效性。此外，代码可在 https://github.com/nothing2wang/NMD-TM 获取。
引用
@article{arxiv.2402.02442,
title = {A Momentum Accelerated Algorithm for ReLU-based Nonlinear Matrix Decomposition},
author = {Qingsong Wang and Chunfeng Cui and Deren Han},
journal= {arXiv preprint arXiv:2402.02442},
year = {2024}
}
备注
5 pages, 7 figures