评估参数高效微调方法训练的参数矩阵的可移植性
计算与语言
2024-01-26 v1 人工智能
机器学习
摘要
随着训练越来越大的语言模型的成本不断增长，重用先前学到的知识的兴趣也随之增加。迁移学习方法已经展示了重用非任务特定知识如何有助于后续的任务特定学习。在本文中，我们研究其逆过程：将编码任务特定知识的整个功能模块从一个模型移植到另一个模型。我们设计了一项包含 1,440 次训练/测试运行的研究，以测试由参数高效微调（PEFT）技术训练的模块的可移植性，并以情感分析作为示例任务。我们在广泛的场景中测试可移植性，涉及不同的 PEFT 技术和不同的预训练宿主模型等维度。我们将移植模块的性能与（i）从头开始训练以及（ii）从与移植模块相同分布采样的参数训练的等效模块进行比较。我们发现移植模块的性能远远优于测试的两种替代方案，但四种 PEFT 技术之间存在有趣的性能差异。我们得出结论，由 PEFT 技术产生的结构模块化参数集形式的任务特定知识具有高度的可移植性，但成功程度取决于 PEFT 的类型以及源预训练模型和接收预训练模型之间的差异。
引用
@article{arxiv.2401.14228,
title = {Assessing the Portability of Parameter Matrices Trained by Parameter-Efficient Finetuning Methods},
author = {Mohammed Sabry and Anya Belz},
journal= {arXiv preprint arXiv:2401.14228},
year = {2024}
}
备注
Accepted to Findings of EACL 2024. Camera ready version