乐观估计揭示非线性模型的潜力
机器学习
2023-07-19 v1 机器学习
摘要
我们提出一种乐观估计来评估非线性模型的最佳可能拟合性能。它产生一个乐观样本量，量化了使用非线性模型拟合/恢复目标函数所需的最小可能样本量。我们估计了矩阵分解模型、深度模型以及具有全连接或卷积架构的深度神经网络（DNNs）的乐观样本量。对于每个非线性模型，我们的估计预测了可在过参数化下拟合的特定目标子集，这被我们的实验所证实。我们的乐观估计揭示了DNN模型的两个特殊性质——宽度上的自由表达性与连接上的昂贵表达性。这些性质暗示了DNN的如下架构设计原则：(i) 放心增加神经元/核；(ii) 克制连接神经元。总体而言，我们的乐观估计从理论上揭示了非线性模型在过参数化下拟合的巨大潜力。基于该框架，我们期望在不久的将来对诸如DNN等众多非线性模型如何以及为何能在实践中有效实现其潜力获得更深理解。
引用
@article{arxiv.2307.08921,
title = {Optimistic Estimate Uncovers the Potential of Nonlinear Models},
author = {Yaoyu Zhang and Zhongwang Zhang and Leyang Zhang and Zhiwei Bai and Tao Luo and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2307.08921},
year = {2023}
}