神经网络架构的统一表示
机器学习
2026-05-12 v3 最优化与控制
摘要
在本文中，我们考虑神经网络(NN)架构在每个隐藏层的神经元数量和隐藏层数量趋于无穷大时形成连续极限的情况，并推导作为神经元数量和/或隐藏层数的函数的逼近误差。首先，我们考虑具有单个隐藏层的神经网络，并推导一种将无限宽度神经表示generalizes现有的连续神经网络(CNN)表示的积分表示。然后，我们将其扩展到具有有限数量积分隐藏层和残差连接的深度残差CNN。其次，我们重新审视神经ODE和深度残差NN之间的关系，并通过离散化技术formalize逼近误差。然后，我们将这两种方法合并为一种统一的均匀NN表示作为分布参数神经网络(DiPaNet)，我们展示了大多数现有的有限和无限维NN架构与DiPaNet表示通过homogenization/离散化相关。我们的approach纯粹是确定性的，适用于一般的、均匀连续的矩阵权重函数。讨论了与神经场和其他神经整合微分方程的关系，并进一步讨论了DiPaNet框架的可能的generalization和应用。
引用
@article{arxiv.2512.17593,
title = {A Unified Representation of Neural Networks Architectures},
author = {Christophe Prieur and Mircea Lazar and Bogdan Robu},
journal= {arXiv preprint arXiv:2512.17593},
year = {2026}
}
备注
Typographical corrections and additional clarifications, remarks; few new relevant references added and acknowledgements; main results unchanged