冻结深层，训练浅层：面向持续预训练的可解释层分配
计算与语言
2026-05-25 v2
摘要
选择性逐层更新对于大语言模型（LLMs）的低成本持续预训练至关重要，然而由于缺乏可解释的指导，确定冻结或训练哪些层仍然是一个经验性的黑箱问题。为解决此问题，我们提出了LayerTracer，一个与架构无关的诊断框架，通过定位任务执行位置和量化层敏感性来揭示逐层表示和稳定性的演化模式。分析结果表明，深层是任务执行的关键区域，并对破坏性更新保持高稳定性。受此发现指导，我们进行了三次受控的持续预训练试验，以比较不同的冻结-训练策略，结果表明，在C-Eval和CMMLU基准测试上，训练浅层同时冻结深层始终优于全参数微调和相反的分配策略。我们进一步展示了一个混合模型案例研究，验证了将高质量预训练模块置于深层能有效保留模型的固有知识。这项工作为资源受限的团队提供了一种低成本且可解释的解决方案，为持续预训练和混合模型构建中的逐层参数分配提供了可操作的指导。
引用
@article{arxiv.2605.11416,
title = {Freeze Deep, Train Shallow: Interpretable Layer Allocation for Continued Pre-Training},
author = {Yu-Hang Wu and Qin-Yuan Liu and Qiu-Yang Zhao and Bo Jiang and Jiang-Feng Yang and Qing-Wei Cong},
journal= {arXiv preprint arXiv:2605.11416},
year = {2026}
}