深度增长模型能否克服深度诅咒？深入分析
计算与语言
2025-12-10 v1 人工智能
机器学习
摘要
在训练过程中逐步增长 Transformer 的深度不仅可以降低训练成本，还能提升推理性能，如 MIDAS（Saunshi 等人，2024）所示。然而，到目前为止，对这些收益的机制性理解一直缺失。在本工作中，我们建立了与近期研究的联系，该研究表明非增长型预层归一化 Transformer 的后半层对最终输出分布的贡献远小于前半层——这也称为深度诅咒（Sun 等人，2025；Csordás 等人，2025）。通过逐层分析，我们证明通过逐步中间堆叠进行增长能够更有效地利用模型深度，改变残差流结构，并促进可置换计算模块的形成。此外，我们提出了一种 MIDAS 的轻量级修改方案，在下游推理基准测试中取得了进一步提升。总体而言，本工作展示了模型深度的逐步增长如何促成独特计算电路的形成，并克服标准非增长模型中有限的深度利用率。
引用
@article{arxiv.2512.08819,
title = {Do Depth-Grown Models Overcome the Curse of Depth? An In-Depth Analysis},
author = {Ferdinand Kapl and Emmanouil Angelis and Tobias Höppe and Kaitlin Maile and Johannes von Oswald and Nino Scherrer and Stefan Bauer},
journal= {arXiv preprint arXiv:2512.08819},
year = {2025}
}