深层残差网络中的渐进式逼近：理论与验证
机器学习
2026-04-28 v1 人工智能
摘要
通用逼近定理（UAT）保证了通用函数逼近，但无法解释残差模型如何在各层之间分配逼近。在本文中，我们将残差网络重新框定为从输入到目标构建逼近轨迹的逐层逼近过程，并证明了存在误差随深度单调递减的渐进式轨迹。这揭示了残差网络可以实现结构化的、逐步细化的过程，而非端到端的黑箱映射。基于此，我们提出了层级渐进式逼近（LPA），这是一种理论依据明确的训练原则，显式地将每个层与其残差目标对齐以实现此类轨迹。LPA 是一种与网络结构无关的方案：我们在包括残差前馈神经网络、ResNet 和 Transformer 在内的多种网络中观察到渐进行为，涵盖复杂曲面拟合、图像分类和 NLP 任务（包括使用大语言模型进行生成与分类）。关键的是，这使得“一次训练，多深度使用”成为可能：单个网络在每个深度处均能提供有用的预测，支持在无需重新训练的情况下进行高效的浅层推理。我们的工作将逼近理论与实际深度学习统一起来，为表征学习提供了新的视角，并为多深度部署提供了灵活框架。
引用
@article{arxiv.2604.24154,
title = {Progressive Approximation in Deep Residual Networks: Theory and Validation},
author = {Wei Wang and Xiao-Yong Wei and Qing Li},
journal= {arXiv preprint arXiv:2604.24154},
year = {2026}
}