能力显著向量：面向下游任务标度律的损失与能力细粒度对齐

标度律建立了训练计算量与验证损失之间的关系，使研究人员能够有效预测模型在不同计算量水平下的损失趋势。然而，验证损失与模型下游能力之间仍存在差距，这使得将标度律直接应用于下游任务的性能预测并非易事。损失通常代表对预测词元的累积惩罚，这些词元被隐式地认为具有同等重要性。然而，我们的研究表明，当考虑不同的训练数据分布时，我们无法直接对下游能力与计算量或词元损失之间的关系进行建模。为了弥合验证损失与下游任务能力之间的差距，在本工作中，我们引入了能力显著向量，它分解总体损失并为词元分配不同的重要性权重，以评估特定的元能力，从而在模型能力方面将验证损失与下游任务性能对齐。在各种流行基准上的实验表明，我们提出的能力显著向量可以显著提高语言模型在下游任务上性能的可预测性。