利用优化动力学进行曲率感知的模型合并

模型合并是一种有效的后训练策略，用于在不进行联合再训练的情况下组合大型语言模型的能力。我们研究了在监督微调（SFT）阶段进行这一操作的情况，即必须将多个基于能力的SFT检查点——涵盖数学、代码、精确指令遵循、通用指令遵循和知识记忆——合并为单个模型。我们提出了优化轨迹感知（Optimization Trajectory Aware, OTA）合并，这是一种基于曲率感知的聚合方法，利用优化器的二阶矩统计量作为对角曲率代理来对参数编辑进行加权，从而减轻干扰。OTA方法的补充，我们提出了快速Fisher嵌入（Fast Fisher Grafting, FFG），这是一种基于曲率的任务局部化步骤，通过稀疏化冲突或低重要性编辑来实现。FFG在注意力查询/键投影和词嵌入中的极低秩掩码集中于早期层，利用跨能力共享的曲率。我们进一步开发了一种轻量级压缩二阶矩的方法，保留OTA的效果。在多样化的能力导向SFT检查点上，OTA+FFG相对于强大的权力空间基线改善了合并模型的质量，减少了负迁移，并在稀疏度水平上保持鲁棒性。分析表明，检查点之间存在显著的曲率重叠，这为为何在实践中简单线性合并有效提供了新的视角。消融实验确认FFG对于减少任务干扰至关重要，且压缩后的二阶矩保留了完整形式的收益。为促进可重复性，我们在https://github.com/pmahdavi/ota-merge上开源所有代码、训练和评估脚本、可视化制品以及能力特定的SFT检查点。