最优脑迭代合并：消除 LLM 合并中的相互干扰
机器学习
2025-02-19 v1 人工智能
计算与语言
摘要
大型语言模型（LLM）展现出惊人的能力，但其高计算成本为定制化带来了挑战。模型合并提供了一种成本有效的替代方案，但现有方法 suffer 从参数间的相互干扰导致性能恶化。本文提出最优脑迭代合并（OBIM），一种新型方法旨在消除模型内部和模型间的干扰。OBIM 包含两个关键组件：（1）一种灵敏度测量机制，基于单个权重变更引起的损失变化来评估参数重要性，通过仅保留高灵敏度参数来减少模型内部的干扰。（2）一种互斥的迭代合并框架，使用二元掩码逐步集成模型，以避免直接参数平均，从而减轻模型间干扰。我们通过在监督微调（SFT）模型和后预训练检查点上的实验验证了 OBIM。结果表明，OBIM 显著优于现有合并技术。总体而言，OBIM 为增强 LLM 合并提供了有效且实用的解决方案。
引用
@article{arxiv.2502.12217,
title = {Optimal Brain Iterative Merging: Mitigating Interference in LLM Merging},
author = {Zhixiang Wang and Zhenyu Mao and Yixuan Qiao and Yunfang Wu and Biye Li},
journal= {arXiv preprint arXiv:2502.12217},
year = {2025}
}