神奇相关性：理解从预训练到监督微调的知识迁移
机器学习
2026-02-13 v1
摘要
理解语言模型能力如何从预训练迁移到监督微调（SFT）对于高效的模型开发和数据整理至关重要。在这项工作中，我们研究了四个核心问题：RQ1. 在SFT之后，预训练期间建立的准确性和置信度排名在多大程度上得以保持？RQ2. 哪些基准测试是稳健的跨阶段预测器，哪些是不可靠的？RQ3. 迁移动态如何随模型规模变化？RQ4. 模型置信度与准确性的对齐程度如何（作为校准质量的度量）？这种对齐模式是否跨训练阶段迁移？我们通过一套相关性协议来研究这些问题，这些协议应用于不同数据混合和模型规模下的准确性和置信度指标。我们的实验表明，迁移可靠性在不同能力类别、基准测试和规模之间差异巨大——准确性和置信度表现出截然不同、有时甚至相反的缩放动态。这些发现揭示了预训练决策与下游结果之间复杂的相互作用，为基准测试选择、数据整理和高效模型开发提供了可操作的指导。
引用
@article{arxiv.2602.11217,
title = {The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning},
author = {Simin Fan and Dimitris Paparas and Natasha Noy and Binbin Xiong and Noveen Sachdeva and Berivan Isik},
journal= {arXiv preprint arXiv:2602.11217},
year = {2026}
}