基于因果干预的参数激活定位方法
计算与语言
2024-08-20 v1
摘要
模型合并将多个同源模型组合成一个模型，无需额外训练即可实现令人信服的泛化。该问题的关键挑战在于解决跨多个模型的参数冗余和冲突。现有方法表明，删除部分 delta 参数可在保持性能的同时缓解冲突。然而，这些方法通常是随机删除参数或基于幅值删除参数，忽略了在微调模型中嵌入的任务特定信息。本文提出了激活参数定位（Activated Parameter Locating, APL）方法，利用因果干预估计参数重要性，从而实现更精确的参数删除和更好的冲突缓解。此外，为减少大量参数分区所关联的计算复杂度，我们还引入了一种受理论支持的梯度近似策略用于 APL。在针对 both in-domain 和 out-of-domain 设置进行的实验以及相关分析中，结果表明 APL 的有效性。
引用
@article{arxiv.2408.09485,
title = {Activated Parameter Locating via Causal Intervention for Model Merging},
author = {Fanshuang Kong and Richong Zhang and Ziqiao Wang},
journal= {arXiv preprint arXiv:2408.09485},
year = {2024}
}