非线性加权有向无环图与神经网络的先验估计
机器学习
2023-05-29 v2 机器学习
摘要
为了更好地理解深度神经网络的结构优势与泛化能力，我们首先给出神经网络模型的一种新颖图论表述，包括全连接网络、残差网络（ResNet）与稠密连接网络（DenseNet）。其次，我们将两层网络\cite{ew2019prioriTwo}与ResNet\cite{e2019prioriRes}的群体风险误差分析推广到DenseNet，并进一步表明对于满足某些温和条件的神经网络，可获得类似估计。这些估计本质上是先验的，因为它们仅依赖于训练过程之前的信息，特别地，估计误差的界与输入维度无关。
引用
@article{arxiv.2103.16355,
title = {Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks},
author = {Yuqing Li and Tao Luo and Chao Ma},
journal= {arXiv preprint arXiv:2103.16355},
year = {2023}
}