过参数化深度神经网络泛化性能不佳
统计理论
2020-01-15 v2 统计理论
摘要
近来若干论文表明，反向传播能够利用过参数化深度神经网络在训练数据上找到经验风险的全局最小值。本文在回归设定下对具有sigmoidal squasher激活函数的深度神经网络给出了类似结果，并给出一个下界，证明这些网络在新数据上泛化不佳，即它们未能达到估计光滑回归函数的最优极小极大收敛速率。
引用
@article{arxiv.1912.03925,
title = {Over-parametrized deep neural networks do not generalize well},
author = {Michael Kohler and Adam Krzyzak},
journal= {arXiv preprint arXiv:1912.03925},
year = {2020}
}