PRISM：解构中期训练中的保留与交互
机器学习
2026-03-25 v3
摘要
我们提出 PRISM，这是一项关于大型语言模型中期训练设计选择的全面实证研究。通过在七个基础模型（涵盖四个家族：Granite、LLaMA、Mistral、Nemotron-H）、两种架构类型（稠密 Transformer 和注意力-Mamba 混合）以及从 3B 到 24B 参数规模的模型上进行受控实验，我们显示，对约 270 亿高质量 token 的中期训练可在数学、代码和科学基准测试中稳定获得 +15 至 +40 分、+5 至 +12 分、+6 至 +13 分的一致性提升，同时保持通用性能。完整的 PRISM 到 RL 流水线使六个推理基准测试的宏平均分从低于 12 提升至 29-42（提升 3-4 倍），而直接应用于大多数基础模型的 RL 效果有限，AIME 分数接近零。数据组成在中期训练中最为重要，而非 RL：在中期训练期间包含科学数据可在 RL 期间实现 +17 至 +28 分的 GPQA-Diamond 提升，而改变 RL 配比仅产生小于 2 分的差异。机制上，中期训练稠密地重构了超过 90% 的模型权重，而 RL 仅对约 5% 的参数进行稀疏、前置式的细化。表示性分析（CKA）表明，RL 在各种架构下始终保持中期训练的表示几何（CKA > 0.998）。关键在于，RL 对起始点应用相同的权重变化，却仅在中期训练好的模型上才成功，这符合中期训练将模型置于一个可被有效提升性能的配置的事实。我们的结果表明，面向可靠推理增强的保留感知中期训练效果极佳，并为设计稳健的中期训练管道提供了实用指导。
引用
@article{arxiv.2603.17074,
title = {PRISM: Demystifying Retention and Interaction in Mid-Training},
author = {Bharat Runwal and Ashish Agrawal and Anurag Roy and Rameswar Panda},
journal= {arXiv preprint arXiv:2603.17074},
year = {2026}
}