非线性模型的线性稳定性假设与秩分层
机器学习
2022-11-22 v1 机器学习
摘要
具有非线性架构/参数化的模型（如深度神经网络（DNNs））因其在过参数化下神秘的优良泛化性能而广为人知。在本工作中，我们从一个新视角切入这一谜题，关注目标恢复/拟合精度随训练数据量变化的转变。我们为一般非线性模型提出一种秩分层，以揭示模型秩作为对应模型函数空间中每个函数的“有效参数规模”。此外，我们建立了线性稳定性理论，证明当训练数据量等于其模型秩时，目标函数几乎必然变为线性稳定。在实验支持下，我们提出线性稳定性假设：非线性训练偏好线性稳定的函数。由这些结果，目标函数的模型秩预测了其成功恢复所需的最小训练数据量。具体而言，对于矩阵分解模型以及全连接或卷积架构的DNNs，我们的秩分层表明特定目标函数的模型秩可远低于模型参数规模。该结果预测了这些非线性模型即使在重度过参数化下的目标恢复能力，正如我们的实验定量所展示。总体而言，我们的工作提供了一个具有定量预测能力的统一框架，以理解一般非线性模型在过参数化下神秘的目标恢复行为。
引用
@article{arxiv.2211.11623,
title = {Linear Stability Hypothesis and Rank Stratification for Nonlinear Models},
author = {Yaoyu Zhang and Zhongwang Zhang and Leyang Zhang and Zhiwei Bai and Tao Luo and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2211.11623},
year = {2022}
}