论文训练潜力预测：针对预训练大语言模型
计算与语言
2026-05-13 v1
摘要
大型语言模型（LLM）在下游任务上的性能根本受限于预训练阶段所获得的能力。然而，传统基准测试（如 MMLU）往往难以反映基础模型在复杂开放情境下的塑性，导致模型选择效率低下。为此，我们提出了预测后训练潜力的新任务——即在后训练前预测基础模型的性能。我们提出了 RuDE（基于 Rubric 的判别评估），一个统一框架，通过利用响应判别来规避基础模型生成差距。基于我们的系统性 4C 分类法学，RuDE 通过细粒度 Rubric 违规构建跨领域的受控对比对。大量实验表明，其与后训练性能的相关性超过 90%。关键的是，通过强化学习（RL）验证，RuDE 能有效识别出潜力更高的小型模型，这些模型可超越大型模型，为基础模型开发提供一种计算高效的机制。
引用
@article{arxiv.2605.11978,
title = {On Predicting the Post-training Potential of Pre-trained LLMs},
author = {Xiaoyuan Li and Yubo Ma and Kexin Yang and Moxin Li and Keqin Bao and Wenie Wang and Fuli Feng and Dayiheng Liu},
journal= {arXiv preprint arXiv:2605.11978},
year = {2026}
}
备注
Under Review