残差网络总体风险的先验估计
机器学习
2019-06-03 v2 机器学习
摘要
针对一种正则化残差网络模型，推导了其总体风险（亦称泛化误差）的最优先验估计。该正则化模型的一个重要部分是使用一种称为加权路径范数的新路径范数作为正则项。加权路径范数对跳跃连接与非线性进行区别对待，使得具有更多非线性的路径被更大的权重正则化。该误差估计是先验的，在于估计仅依赖于目标函数，而不依赖于训练过程中获得的参数。在高维设定下，估计是最优的，因为近似误差与估计误差的界均与蒙特卡洛误差率相当。证明中的关键一步是为残差网络的 Rademacher 复杂度建立最优界。并与现有的基于范数的泛化误差界进行了比较。
引用
@article{arxiv.1903.02154,
title = {A Priori Estimates of the Population Risk for Residual Networks},
author = {Weinan E and Chao Ma and Qingcan Wang},
journal= {arXiv preprint arXiv:1903.02154},
year = {2019}
}