基于非光滑正则化的全连接神经网络矩阵完成
信息论
2024-03-18 v1 机器学习
math.IT
摘要
传统矩阵完成方法通过假设矩阵为低秩来近似缺失值，这导致对缺失值的线性近似。已证明，使用非线性估计器如深度神经网络可实现更好的性能。深度全连接神经网络（FCNN）是最合适的矩阵完成架构之一，却因其高容量导致过拟合，从而降低泛化能力。本文通过对中间表示的 范数和权重矩阵的核范数进行正则化来控制过拟合。因此，正则化目标函数变为非光滑和非凸的，即现有的梯度-based 方法无法用于该模型。我们提出了一种变体的proximal 梯度法并研究其对临界点的收敛。在 FCNN 训练的初始阶段，忽略正则化项，通过训练过程中的迭代，正则化项的影响逐渐增加。非光滑正则化项逐渐添加是深度神经网络搭配非光滑正则化项（DNN-NSR）算法表现更好的主要原因。我们的仿真结果表明，所提出的算法在与现有线性和非线性算法的比较中具有优势。
引用
@article{arxiv.2403.10232,
title = {Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks},
author = {Sajad Faramarzi and Farzan Haddadi and Sajjad Amini and Masoud Ahookhosh},
journal= {arXiv preprint arXiv:2403.10232},
year = {2024}
}