DELLA-Merging：通过基于幅度的抽样减少模型合并中的干扰
计算与语言
2024-06-18 v1
摘要
随着领域特定模型的普及，模型合并作为一种将多个模型的能力组合到一个能够多任务处理的模型而避免额外训练成本的技术方法日益受到关注。本文提出了一种新的模型合并技术，Drop and rEscaLe via sampLing with mAgnitude (DELLA-Merging)，该技术采用一种新颖的修剪技术 MAGPRUNE，其相对于 DARE 和 TIES 显示出显著优势。MAGPRUNE 首先按参数幅度对参数进行排序，并为幅度较小的排名较低的参数分配更高的 dropout 概率 (p)。为近似原始嵌入，MAGPRUNE 采用对通过随机丢弃的存活参数进行 1/(1 - p) 缩放操作。在三个不同的专家模型 (LM、Math、Code) 以及相应的基准数据集 (AlpacaEval、GSM8K、MBPP) 上，DELLA 相对于采用 delta 参数修剪的基线方法平均提高了 2.4 分，相对于 TIES 提高了 3.6 分，相对于 DARE 提高了 1.2 分，相对于不进行修剪的基线 (TA) 提高了 11.1 分。我们在 https://github.com/declare-lab/della 发布了源代码。
引用
@article{arxiv.2406.11617,
title = {DELLA-Merging: Reducing Interference in Model Merging through Magnitude-Based Sampling},
author = {Pala Tej Deep and Rishabh Bhardwaj and Soujanya Poria},
journal= {arXiv preprint arXiv:2406.11617},
year = {2024}
}