展开式神经网络的自由度分析
机器学习
2019-06-11 v1 机器学习
摘要
展开式神经网络近期作为学习图像复原任务中逆映射的有效模型而出现。然而，其泛化风险（即测试均方误差）及其与网络设计和训练样本量的联系仍不明了。利用 Stein 无偏风险估计器（SURE），本文分析了循环展开式网络的泛化风险及其偏差与方差分量。我们特别研究了 SURE 的自由度（DOF）分量，即端到端网络 Jacobian 的迹，以量化预测方差。我们证明，在训练权重的不相干条件下，DOF 可由网络的加权路径稀疏性很好地近似。在经验上，我们考察了循环与非循环（具有更多参数）展开式网络的 SURE 分量随训练样本量的变化。我们的关键观察表明：1) 对于循环与非循环方案，DOF 随训练样本量增加并收敛于泛化风险；2) 与非循环方案相比，循环网络收敛显著更快（所需训练样本更少），因此循环在低样本量情形下起到正则化作用。
引用
@article{arxiv.1906.03742,
title = {Degrees of Freedom Analysis of Unrolled Neural Networks},
author = {Morteza Mardani and Qingyun Sun and Vardan Papyan and Shreyas Vasanawala and John Pauly and David Donoho},
journal= {arXiv preprint arXiv:1906.03742},
year = {2019}
}