Param$\Delta$：用于直接权重混合的零成本后训练大语言模型方法

大型语言模型的后训练阶段对于提升指令遵循、推理和人类偏好对齐等能力至关重要。然而，后训练需要大量高质量数据，易产生过拟合风险，同时因每次基模型更新后需重复后训练和评估，计算成本高昂。本文引入Param$\Delta$一种新方法，通过将现有后训练模型的知识传递给新更新的基模型，实现零额外训练的后训练。具体做法是计算后训练模型权重$\Theta_\text{post}$与基模型权重$\Theta_\text{base}$之差，并加至更新后的基模型$\Theta'_\text{base}$，定义Param$\Delta$模型为：$\Theta_{\text{Param}\Delta} = \Theta_\text{post} - \Theta_\text{base} + \Theta'_\text{base}$。该方法竟为新基模型赋予后训练能力，性能接近直接后训练。我们对LLama3、Llama3.1、Qwen和DeepSeek-distilled模型进行分析。结果表明，Param$\Delta$模型有效复制了传统后训练。例如，由70B Llama3-inst、Llama3-base、Llama3.1-base模型获得的Param$\Delta$模型在平均性能上约达到Llama3.1-inst模型的95%。Param$\Delta$为开源社区中利用基模型和指令模型checkpoint（常更新）的开发者提供了一种零成本框架，加速模型迭代开发周期。