逐步网络
计算机视觉与模式识别
2025-11-19 v1
摘要
扩大网络深度是神经网络设计中的根本追求，由于理论表明更深的模型具有指数级的更大能力。得益于残差连接，现代神经网络可扩展至超过一百层并取得广泛成功。然而，随着网络深度的继续加深，当前架构往往难以实现其理论能力的提升，因而需要更先进的设计来进一步释放深层网络的潜力。在本文中，我们识别了阻止残差模型进一步深化的两个关键障碍：shortcut degradation 和宽度受限。shortcut degradation 阻碍深层学习，而深度-宽度权衡的本质导致宽度受限。为缓解这些问题，我们提出一种称为 Step by Step Network（StepsNet）的通用残差架构，以弥合理论潜力与实际性能之间的差距。具体而言，我们在通道维度上分离特征，并通过堆叠宽度递增的模块来逐层学习。该方法解决了上述两个问题，作为可应用于各种模型的通用宏观设计。大量实验表明，我们的方法在包括图像分类、目标检测、语义分割和语言建模等多种任务上 consistently 优于残差模型。这些结果将 StepsNet 定位为广受采纳的残差架构的一种优越的通用化。
引用
@article{arxiv.2511.14329,
title = {Step by Step Network},
author = {Dongchen Han and Tianzhu Ye and Zhuofan Xia and Kaiyi Chen and Yulin Wang and Hanting Chen and Gao Huang},
journal= {arXiv preprint arXiv:2511.14329},
year = {2025}
}