快速精准地探测训练中的大语言模型的下游性能
机器学习
2026-04-02 v1 人工智能
摘要
规模化大型语言模型（LLM）在参数规模和推理时间上的扩展推动了AI能力的边界，但以至于使传统的生成式评估范式变得代价高昂，因此使得LLM在训练期间的下游性能评估延迟变得难以忍受。然而，诸如训练损失（囊惑度）等简单指标并不总是与下游性能相关，因为有时它们的趋势会与实际任务结果 diverged。这种困境迫切需要一种计算高效且足够准确地衡量模型能力的方法。为此，我们引入了一种新的训练中评估范式，该范式使用轻量级探针来监控下游性能。探针将大语言模型检查点（在训练期间）的内部表示作为输入，直接预测该检查点在下游任务上的表现（即通过率）。我们设计了几种探针架构，并使用OLMo3-7B的检查点在多样化的下游任务上进行验证。探针能够准确预测检查点的性能（平均AUROC>0.75），在检查点之间具有相当好的可迁移性（早期预测晚期），并且将计算延迟从约1小时（使用传统生成式评估方法）缩短至约3分钟。总之，本工作提出了一种实用且可扩展的训练中下游评估范式，使LLM开发过程更加敏捷、信息化和高效。
引用
@article{arxiv.2604.01025,
title = {Fast and Accurate Probing of In-Training LLMs' Downstream Performances},
author = {Zhichen Liu and Tianle Lun and Zhibin Wen and Hao An and Yulin Ou and Jianhui Xu and Hao Zhang and Wenyi Fang and Yang Zheng and Yang Xu},
journal= {arXiv preprint arXiv:2604.01025},
year = {2026}
}