基于任务局部稀疏微调的高效模型编辑

任务算术已成为通过将任务特定知识表示为可组合任务向量来编辑模型的有前景方法。然而，现有方法依赖于网络线性化来推导任务向量，导致训练和推理过程中的计算瓶颈。此外，仅靠线性化无法确保权重具备解缔性，这一属性使任务向量能够无冲突地进行组合。为此，我们提出 TaLoS，通过稀疏方式构建任务向量以实现最小干扰，无需显式线性化，同时跨任务共享信息。我们发现，预训练模型中存在一部分参数在各任务中梯度灵敏度始终较低，通过仅对这些参数进行稀疏更新可实现训练期间的权重解缔性。我们的实验表明，TaLoS 在训练和推理效率上取得改进，同时在任务添加与否定方面超越当前方法。通过实现模块化参数编辑，该方法促进了面向实际应用的可适应基础模型的实际部署。