通过自监督训练改进上下文少样本学习
计算与语言
2022-06-08 v2
摘要
自监督预训练已使许多自然语言处理任务中的少样本学习成为可能。但预训练目标通常并非专门针对上下文少样本学习而设计。在本文中，我们提出在预训练与下游少样本使用之间的中间训练阶段采用自监督，旨在教会模型执行上下文少样本学习。我们在两个基准上提出并评估了四种自监督目标。我们发现中间自监督阶段产生的模型优于强基线。消融研究表明，若干因素会影响下游性能，例如训练数据量与自监督目标的多样性。人工标注的跨任务监督与自监督是互补的。定性分析表明，经自监督训练的模型更善于遵循任务要求。
引用
@article{arxiv.2205.01703,
title = {Improving In-Context Few-Shot Learning via Self-Supervised Training},
author = {Mingda Chen and Jingfei Du and Ramakanth Pasunuru and Todor Mihaylov and Srini Iyer and Veselin Stoyanov and Zornitsa Kozareva},
journal= {arXiv preprint arXiv:2205.01703},
year = {2022}
}
备注
NAACL 2022