关于基于适配器的微调用于预训练语言模型自适应的有效性
计算与语言
2021-06-08 v1
摘要
基于适配器的微调近来作为微调的一种替代方案出现。其通过向预训练语言模型（PrLM）添加轻量级适配器模块，并仅在下流任务学习时更新适配器模块的参数来工作。因此，每个新任务仅添加少量可训练参数，允许高度的参数共享。先前研究表明基于适配器的微调常取得与微调相当的结果。然而，现有工作仅关注基于适配器的微调的参数高效方面，缺乏对其有效性的进一步探究。本文研究后者。我们首先表明基于适配器的微调比微调更能缓解遗忘问题，因其产生的表示与初始 PrLM 生成的表示偏离更小。我们随后在若干下流 NLP 任务与设置上实证比较两种微调方法。我们证明：1）基于适配器的微调在低资源与跨语言任务上优于微调；2）其对过拟合更鲁棒且对学习率变化更不敏感。
引用
@article{arxiv.2106.03164,
title = {On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation},
author = {Ruidan He and Linlin Liu and Hai Ye and Qingyu Tan and Bosheng Ding and Liying Cheng and Jia-Wei Low and Lidong Bing and Luo Si},
journal= {arXiv preprint arXiv:2106.03164},
year = {2021}
}
备注
Accepted by ACL 2021 (long paper)