ANCRe：高效深度扩展的自适应神经连接重分配
机器学习
2026-02-10 v1 人工智能
摘要
网络深度扩张一直是现代基础模型成功的核心驱动力，但最近的调查表明，深层网络常被低效利用。这项工作从优化视角重新审视了网络深度增深的默认机制，即残差连接。严格的分析证明，残差连接的布局本质上会塑造收敛行为，甚至导致收敛率呈指数级差距。基于此洞见，我们引入自适应神经连接重分配 (ANCRe)，这是一种原则且轻量级的框架，通过参数化和从数据中学习残差连接方式来实现。ANCRe 在几乎没有计算和内存开销 () 的情况下，对残差连接进行自适应重分配，使网络深度的利用更为有效。广泛的数值测试覆盖大型语言模型、扩散模型和深层 ResNet 的预训练，结果表明该方法在常规残差连接下持续实现加速收敛、提升性能和增强深度效率。
引用
@article{arxiv.2602.09009,
title = {ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling},
author = {Yilang Zhang and Bingcong Li and Niao He and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:2602.09009},
year = {2026}
}