知晓你的去向：用于参数高效微调的元学习
计算与语言
2022-12-09 v2
摘要
近期一类被称为轻量微调方法的技术，通过仅更新一小部分额外参数同时将预训练语言模型的参数保持冻结，来促进参数高效的迁移学习。虽然被证明是一种有效的方法，但现有研究并未探讨下游微调方法的知识是否以及应如何影响预训练阶段。本工作中，我们展示将微调方法的最终选择纳入考量可提升参数高效微调的性能。通过依赖基于优化的元学习使用 MAML 并针对我们的不同目的进行某些修改，我们使预训练模型特别适用于参数高效微调，从而在跨语言 NER 微调上获得最高 1.7 点的提升。我们的消融设置与分析进一步揭示，我们在 MAML 中引入的调整对于所获提升至关重要。
引用
@article{arxiv.2205.12453,
title = {Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-Tuning},
author = {Mozhdeh Gheini and Xuezhe Ma and Jonathan May},
journal= {arXiv preprint arXiv:2205.12453},
year = {2022}
}