窄 ResNets 的通用逼近约束：隧道效应
动力系统
2026-03-31 v1 机器学习
摘要
我们从理论和数值两个角度分析了窄残差神经网络（ResNets）的通用逼近约束。对于没有输入空间增广的深度神经网络，一个核心约束是无法表示输入-输出映射的临界点。我们证明了这对目标函数逼近具有全局性影响，并表明该缺陷的典型表现是将临界点移至无穷远，这在分类任务的语境中被称为"隧道效应"。尽管 ResNets 比标准多层感知器（MLP）具有更强的表达能力，但其能力强烈依赖于跳跃连接通道与残差通道之间的信号比率。我们为残差主导（接近 MLP）和跳跃主导（接近神经 ODE）两种模式建立了定量逼近界。这些估计显式地依赖于通道比率和均匀网络权重界。低维例子进一步提供了对不同 ResNet 模式的详细分析，以及架构-目标不兼容如何影响逼近误差。
引用
@article{arxiv.2603.28591,
title = {Universal Approximation Constraints of Narrow ResNets: The Tunnel Effect},
author = {Christian Kuehn and Sara-Viola Kuntz and Tobias Wöhrer},
journal= {arXiv preprint arXiv:2603.28591},
year = {2026}
}