Hadamard 适配器：面向预训练语言模型的极端参数高效适配器调优方法
机器学习
2024-07-17 v1 计算与语言
摘要
近年来, 预训练语言模型 (PLM) 进入了人工智能领域的各个方面并取得了巨大成功。然而, 大多数 PLM 如 T5 和 GPT3 参数量巨大, 微调往往昂贵且耗时, 存储也占用大量空间。因此, 有必要采用参数高效的方法在不损害下游任务性能的前提下, 减少 PLM 的参数。本文设计了一种仅作用于 PLM 中自注意力输出的适配器。该适配器采用元素级线性变换, 采用 Hadamard 乘积, 因此得名 Hadamard 适配器, 相较于以往的参数高效适配器, 需要的最少参数。此外, 我们还总结了Hadamard适配器在各种下游任务中共享的一些调优模式, 期望为未来通过共享适配器实现更进一步的参数降低提供指导。在广泛使用的 GLUE 基准测试中对几种 SOTA PLM 进行实验表明, Hadamard 适配器仅使用 0.033% 参数即可达到与全参数微调相当的性能, 且在其他适配器中参数最少。此外, 我们进一步发现Hadamard适配器中也存在一些冗余层, 可被移除以实现更高的参数效率, 只需 0.022% 参数即可。
引用
@article{arxiv.2407.11033,
title = {Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models},
author = {Yuyan Chen and Qiang Fu and Ge Fan and Lun Du and Jian-Guang Lou and Shi Han and Dongmei Zhang and Zhixu Li and Yanghua Xiao},
journal= {arXiv preprint arXiv:2407.11033},
year = {2024}
}
备注
Accepted to CIKM 2023 (Long Paper)