通过算术运算组合参数高效模块
计算与语言
2023-12-12 v2
摘要
作为传统全量微调的高效替代方案，参数高效微调（PEFT）正成为适配预训练语言模型的主流方法。在 PEFT 中，每个数据集上学习一个轻量模块，而底层预训练语言模型保持不变，从而在应用于不同领域与任务时产生代表多种技能的多个紧凑模块。本文中，我们提出通过权重空间中的线性算术运算来组合这些参数高效模块，从而整合不同的模块能力。具体而言，我们首先定义模块的加法与取负算子，进而由这两个基本算子进一步组合以执行灵活的算术。我们的方法不需要额外训练，并支持高度灵活的模块组合。我们应用不同的算术运算来组合用于 (1) 分布泛化、(2) 多任务、(3) 遗忘、(4) 领域迁移的参数高效模块。此外，我们将方法推广至对基于 LLaMA 的最新指令微调大语言模型 Alpaca-LoRA 去毒化。实证结果表明，我们的方法生成了新的且有效的参数高效模块，在所有设定下均显著优于现有模块。
引用
@article{arxiv.2306.14870,
title = {Composing Parameter-Efficient Modules with Arithmetic Operations},
author = {Jinghan Zhang and Shiqi Chen and Junteng Liu and Junxian He},
journal= {arXiv preprint arXiv:2306.14870},
year = {2023}
}
备注
NeurIPS 2023. Code is available at https://github.com/SJTU-LIT/PEM_composition