原型微调：面向不同数据规模下的稳健性能
计算与语言
2022-11-28 v1 机器学习
摘要
在本文中，我们致力于将大型参数化模型与非参数化原型网络相结合。我们提出原型微调(prototypical fine-tuning)，一种用于微调预训练语言模型(LM)的新型原型框架，它自动学习一种偏置，以改善不同数据规模尤其是低资源设定下的预测性能。我们的原型微调方法能够根据数据点数量及模型固有属性自动调整模型容量。此外，我们提出了四条原则以实现面向最优解的有效原型微调。跨多个数据集的实验结果表明，我们的工作在各类低资源设定下取得了显著性能提升，并在高资源场景中也取得了可比且通常更优的性能。
引用
@article{arxiv.2211.13638,
title = {Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes},
author = {Yiqiao Jin and Xiting Wang and Yaru Hao and Yizhou Sun and Xing Xie},
journal= {arXiv preprint arXiv:2211.13638},
year = {2022}
}
备注
Published as a conference paper at AAAI 2023