FroM：基于 Frobenius 范数的无数据自适应模型合并

随着大语言模型的发展，微调已成为一种通过注入领域特定知识来提升特定场景性能的有效方法。在此背景下，模型合并技术通过组合多个微调模型的参数，为融合其知识提供了解决方案。然而，传统方法在合并全量微调模型时常常遇到任务干扰问题，且该问题在参数高效微调场景下变得更加明显。本文对 RegMean 方法进行了改进，该方法间接利用训练数据来近似合并前后线性层的输出。我们提出了一种名为 FroM 的自适应合并方法，它直接使用 Frobenius 范数度量模型参数，无需任何训练数据。通过引入额外的超参数进行控制，FroM 在各种微调场景中均优于基线方法，缓解了任务干扰问题。