通过拼接输入缓解深度双下降
机器学习
2021-07-05 v1
摘要
双下降曲线是深度神经网络最引人注目的性质之一。它与经典偏差-方差曲线形成对比，出现在样本数接近参数量的情形中。在本工作中，我们探究了深度神经网络设定下双下降现象与样本数之间的联系。具体而言，我们提出了一种通过人为增加样本数来扩充现有数据集的构造方法。该构造在此设定下经验性地缓解了双下降曲线。我们复现了关于深度双下降的已有工作，并观察到我们的构造能平滑地下降进入过参数化区域。这一现象在模型规模与训练轮数两方面均有出现。
引用
@article{arxiv.2107.00797,
title = {Mitigating deep double descent by concatenating inputs},
author = {John Chen and Qihan Wang and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2107.00797},
year = {2021}
}