用于矩阵补全的深度线性网络——无限深度极限
动力系统
2023-05-12 v2 机器学习
摘要
深度线性网络（DLN）是基于梯度的过参数化学习架构优化中隐式正则化的一个模型。训练DLN对应于一个黎曼梯度流，其中黎曼度量由网络架构定义，损失函数由学习任务定义。我们扩展了这一几何框架，获得了体积形式的显式表达式，包括网络具有无限深度的情况。我们通过严谨的分析和数值研究调查了黎曼几何与矩阵补全训练渐近性之间的联系。我们提出隐式正则化是偏向于高状态空间体积的结果。
引用
@article{arxiv.2210.12497,
title = {Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit},
author = {Nadav Cohen and Govind Menon and Zsolt Veraszto},
journal= {arXiv preprint arXiv:2210.12497},
year = {2023}
}