AdapterBias：面向NLP任务中适配器的参数高效令牌依赖表示偏移
计算与语言
2023-01-31 v4
摘要
基于Transformer的预训练模型拥有数百万参数，需要大量存储。近期方法通过训练适配器来解决这一缺陷，但这些方法仍需要相对较多的参数。本研究提出了一种出奇简单却有效的适配器架构AdapterBias。AdapterBias向Transformer层的隐藏输出添加令牌依赖的偏移，仅用向量与线性层即可适配下游任务。我们进行了大量实验以证明AdapterBias的有效性。实验表明，与先前工作相比，我们所提方法能大幅减少可训练参数，且与微调预训练模型相比任务性能下降极小。我们进一步发现，AdapterBias会自动学习为与所考虑任务相关的令牌分配更显著的表示偏移。
引用
@article{arxiv.2205.00305,
title = {AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks},
author = {Chin-Lun Fu and Zih-Ching Chen and Yun-Ru Lee and Hung-yi Lee},
journal= {arXiv preprint arXiv:2205.00305},
year = {2023}
}
备注
Findings of NAACL 2022