NoisyTune：一点噪声可助你更好地微调预训练语言模型
计算与语言
2022-03-24 v2
摘要
有效地微调预训练语言模型（PLMs）对其在下游任务中的成功至关重要。然而，PLM可能存在过拟合预训练任务与数据的风险，而这些通常与目标下游任务存在差距。这种差距可能难以被现有PLM微调方法克服并导致次优性能。本文中，我们提出一种非常简单却有效的方法名为NoisyTune，通过在微调前对PLM参数加入一些噪声，来帮助在下游任务上更好地微调PLM。更具体地，我们提出一种矩阵级扰动方法，基于不同参数矩阵的标准差向其添加不同的均匀噪声。如此，PLM中不同类型参数的各异特性可被纳入考虑。在GLUE英文基准与XTREME多语言基准上的大量实验表明，NoisyTune能持续赋能不同PLM在不同下游任务上的微调。
引用
@article{arxiv.2202.12024,
title = {NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better},
author = {Chuhan Wu and Fangzhao Wu and Tao Qi and Yongfeng Huang and Xing Xie},
journal= {arXiv preprint arXiv:2202.12024},
year = {2022}
}
备注
ACL 2022