KronA: 基于 Kronecker 适配器的参数高效微调
计算与语言
2022-12-22 v1
摘要
在特定下游任务上微调预训练语言模型（PLM）一直是自然语言处理中的著名范式。然而，随着 PLM 规模的不断增长，在多个下游任务上训练整个模型变得非常昂贵且耗费资源。最近，提出了不同的参数高效微调（PET）技术以提高微调 PLM 的效率。一类流行的 PET 方法是低秩适配方法，它们将可学习的截断 SVD 模块以串行或并行的方式插入到原始模型中。然而，低秩分解受限于有限的表示能力。在这项工作中，我们使用 Kronecker 积代替低秩表示来解决这个问题。我们引入了 KronA，一种基于 Kronecker 积的适配器模块，用于高效微调基于 Transformer 的 PLM。我们将所提出的方法应用于在 GLUE 基准上微调 T5，以表明结合基于 Kronecker 的模块可以超越最先进的 PET 方法。
引用
@article{arxiv.2212.10650,
title = {KronA: Parameter Efficient Tuning with Kronecker Adapter},
author = {Ali Edalati and Marzieh Tahaei and Ivan Kobyzev and Vahid Partovi Nia and James J. Clark and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:2212.10650},
year = {2022}
}