参数高效微调的设计空间
计算与语言
2023-01-06 v1 人工智能
摘要
参数高效微调旨在使用更少的可训练参数，达到与微调相当的性能。已有若干策略被提出（例如 Adapters、前缀微调、BitFit 和 LoRA）。然而，它们的设计是分别手工定制的，目前仍不清楚参数高效微调是否存在某些设计模式。因此，我们提出了一种参数高效微调设计范式，并发现了适用于不同实验设置的设计模式。我们并未聚焦于设计另一种单独的微调策略，而是引入了参数高效微调设计空间，对微调结构与微调策略进行参数化。具体而言，任一设计空间由四个组成部分刻画：层分组、可训练参数分配、可调组以及策略指派。从初始设计空间出发，我们基于每个设计选择下的模型质量逐步精炼该空间，并在每个阶段就这四个组成部分进行贪心选择。我们发现了如下设计模式：(i) 以纺锤形模式对层进行分组；(ii) 将可训练参数数量均匀分配给各层；(iii) 对所有组进行微调；(iv) 为不同组指派恰当的微调策略。这些设计模式催生了新的参数高效微调方法。我们通过实验表明，这些方法在自然语言处理的不同骨干模型与不同任务上，持续且显著优于所考察的参数高效微调策略。
引用
@article{arxiv.2301.01821,
title = {Parameter-Efficient Fine-Tuning Design Spaces},
author = {Jiaao Chen and Aston Zhang and Xingjian Shi and Mu Li and Alex Smola and Diyi Yang},
journal= {arXiv preprint arXiv:2301.01821},
year = {2023}
}
备注
Code is available at https://github.com/amazon-science/peft-design-spaces