基于特殊词元自适应的参数高效微调
计算与语言
2023-02-15 v2 人工智能
机器学习
摘要
参数高效微调旨在将预训练模型适配下游任务时仅更新一小部分参数。在本工作中，我们提出 PASTA，其中仅修改基于 Transformer 的模型中每一层自注意力模块之前的特殊词元表示（例如 BERT 中的 [SEP] 和 [CLS]）。PASTA 在包括文本分类和命名实体识别（NER）在内的自然语言理解任务中，仅训练最多 0.029% 的总参数便取得了与全量微调相当的性能。我们的工作不仅提供了一种简单而有效的参数高效微调方法，其在部署多任务微调模型时具有广泛的实际应用价值，同时也揭示了特殊词元在预训练语言模型中的关键作用。
引用
@article{arxiv.2210.04382,
title = {Parameter-Efficient Tuning with Special Token Adaptation},
author = {Xiaocong Yang and James Y. Huang and Wenxuan Zhou and Muhao Chen},
journal= {arXiv preprint arXiv:2210.04382},
year = {2023}
}
备注
EACL 2023