中期训练桥接预训练与后训练分布
计算与语言
2026-02-03 v2
摘要
中期训练（midtraining）是指在中间训练阶段将特定数据与更通用的预训练数据混合的做法，已在语言模型开发中广泛应用，但对其有效性机制缺乏深入理解。我们提出，中期训练通过提供更好的初始化来实现分布式桥接，从而增强后训练的效果。我们进行受控的预训练实验，发现中期训练的优势在于数据分布与一般预训练数据遥远的领域尤为显著，例如代码和数学领域，并且随着中期训练数据提供的接近目标分布的优势而呈比例增长。在这些领域，中期训练在原位及其减缓遗忘方面始终优于仅使用特定数据继续预训练。我们进一步对中期训练数据的引入时间和混合权重进行了研究，以代码为案例研究，发现引入时间和混合权重之间存在强烈相互作用：即使早期引入特定数据也可接受较大的混合权重，而晚期引入则需要更小的混合权重。这表明，若在塑性窗口外引入特定数据，后期通过增加数据混合比例无法弥补其不足。除了中期训练本身，这进一步表明训练各阶段之间可能的分布迁移可从类似的桥接策略中获益。
引用
@article{arxiv.2510.14865,
title = {Midtraining Bridges Pretraining and Posttraining Distributions},
author = {Emmy Liu and Graham Neubig and Chenyan Xiong},
journal= {arXiv preprint arXiv:2510.14865},
year = {2026}
}