参数高效微调造就优良分类头
计算与语言
2023-03-29 v2 机器学习
摘要
近年来，预训练模型革新了自然语言理解(NLU)的范式：我们在预训练主干（如BERT）之后接一个随机初始化的分类头，并对整个模型进行微调。由于预训练主干对性能提升贡献最大，我们自然期望一个良好的预训练分类头也能有益于训练。然而，主干的最后一层输出（即分类头的输入）在微调过程中会发生剧烈变化，使得通常的仅训练分类头预训练(LP-FT)失效。本文中，我们发现参数高效微调可以造就一个优良的分类头，借此我们只需替换随机初始化的分类头即可获得稳定的性能提升。我们的实验表明，通过参数高效微调联合预训练得到的分类头在GLUE和SuperGLUE的9个任务上持续提升了性能。
引用
@article{arxiv.2210.16771,
title = {Parameter-Efficient Tuning Makes a Good Classification Head},
author = {Zhuoyi Yang and Ming Ding and Yanhui Guo and Qingsong Lv and Jie Tang},
journal= {arXiv preprint arXiv:2210.16771},
year = {2023}
}
备注
Accepted as a long paper to EMNLP 2022 Main Conference