过参数化卷积网络中深度增加导致U形测试风险
机器学习
2021-06-08 v2 机器学习
摘要
近期的研究表明，在过参数化神经网络中通过宽度增加模型容量会降低测试风险。然而，对于神经网络，模型容量也可通过深度增加，但理解深度增加对测试风险的影响仍是一个开放问题。在本工作中，我们证明了过参数化卷积网络的测试风险随深度增加呈U形曲线（即先单调递减，后递增）。我们首先通过使用ResNets和卷积神经正切核（CNTK）进行图像分类实验，为这一现象提供了经验证据。然后，我们提出了一个新的线性回归框架来刻画深度对测试风险的影响，并证明深度增加导致线性CNTK出现U形测试风险。特别地，我们证明了线性CNTK对应于原始空间上一种依赖于深度的线性变换，并刻画了该变换的性质。接着，我们在任意线性变换下分析了过参数化线性回归，并在简化设定下可证明地辨识出使测试风险的偏差项和方差项各自最小化的深度。
引用
@article{arxiv.2010.09610,
title = {Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks},
author = {Eshaan Nichani and Adityanarayanan Radhakrishnan and Caroline Uhler},
journal= {arXiv preprint arXiv:2010.09610},
year = {2021}
}
备注
27 pages, 23 figures