LLM中期训练综述
计算与语言
2025-11-05 v2
摘要
近年来，基础模型的进步凸显了多阶段训练的显著优势，尤其强调中期训练作为连接预训练和后训练的关键阶段。中期训练以使用中间数据和计算资源为特征，系统性地增强特定能力，如数学、编码、推理和长程情境扩展，同时保持基础能力。本综述为大型语言模型（LLMs）提供正式定义，探讨涵盖数据策划、训练策略和模型架构优化的优化框架。我们在以目标为导向的干预为背景下分析主流模型实现，说明中期训练作为LLM能力渐进发展中distinct且关键的阶段。通过阐明中期训练的独特贡献，本综述提供了全面的分类框架和可操作性洞见，支持LLM未来研究与创新。
引用
@article{arxiv.2510.23081,
title = {A Survey on LLM Mid-Training},
author = {Chengying Tu and Xuemiao Zhang and Rongxiang Weng and Rumei Li and Chen Zhang and Yang Bai and Hongfei Yan and Jingang Wang and Xunliang Cai},
journal= {arXiv preprint arXiv:2510.23081},
year = {2025}
}