UniPELT：一个统一的参数高效语言模型微调框架
计算与语言
2022-09-07 v3 人工智能
机器学习
摘要
最近的参数高效语言模型微调（PELT）方法能够以少得多的可训练参数匹配全量微调的性能，并且在训练数据有限时表现尤为出色。然而，不同的PELT方法在同一任务上的表现可能大相径庭，这使得为特定任务选择最合适的方法变得并非易事，尤其是考虑到新PELT方法和任务数量的快速增长。鉴于模型的多样性和模型选择的困难，我们提出了一个统一框架UniPELT，它将不同的PELT方法作为子模块纳入其中，并通过门控机制学习激活最适合当前数据或任务设置的那些方法。在GLUE基准测试上，UniPELT相比其所包含的最佳单个PELT方法，一致地实现了1~4%的提升，甚至在不同设置下超越了微调。此外，UniPELT通常超越了在每个任务上单独使用其所有子模块所取得的最佳性能的上限，这表明混合多种PELT方法可能天生比单一方法更有效。
引用
@article{arxiv.2110.07577,
title = {UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning},
author = {Yuning Mao and Lambert Mathias and Rui Hou and Amjad Almahairi and Hao Ma and Jiawei Han and Wen-tau Yih and Madian Khabsa},
journal= {arXiv preprint arXiv:2110.07577},
year = {2022}
}
备注
ACL 2022 (w. typo fixes)