最小网络和典型网络的可证明温度过拟合
机器学习
2024-10-28 v1 机器学习
摘要
我们研究完全连接深度神经网络 (NN) 的过拟合行为，这些网络使用的二进制权重适用于对噪声训练集的完美分类。我们考虑使用最小 NN（具有最小权数）和随机插值 NN 进行插值。对于两种学习规则，我们证明过拟合被温和化。我们的分析基于对与部分函数一致的阈值电路大小的新型界限。据我们了解，这些是首个针对深层 NN 的良性或温和过拟合的理论结果，且：(1)适用于深层 NN，(2)不需要极高或极低的输入维度。
引用
@article{arxiv.2410.19092,
title = {Provable Tempered Overfitting of Minimal Nets and Typical Nets},
author = {Itamar Harel and William M. Hoza and Gal Vardi and Itay Evron and Nathan Srebro and Daniel Soudry},
journal= {arXiv preprint arXiv:2410.19092},
year = {2024}
}
备注
60 pages, 4 figures