重新审视语言模型少样本学习的自训练方法
计算与语言
2021-10-05 v1
摘要
由于无标签数据携带丰富的任务相关信息，其已被证明有益于语言模型的少样本学习。问题是如何有效利用此类数据。本文重新审视用于语言模型微调的自训练技术，并提出一种基于提示的先进少样本学习器 SFLM。给定通过弱增强与强增强技术得到的文本样本的两个视图，SFLM 在弱增强版本上生成伪标签。随后，当使用强增强版本微调时，模型预测相同的伪标签。这一简单方法在六个句子分类和六个句子对分类基准任务上优于其他先进的监督与半监督对应方法。此外，SFLM 仅依赖少量领域内无标签数据。我们进行了全面分析，以展示所提方法在各种设置下的鲁棒性，包括增强技术、模型规模以及跨任务的少样本知识迁移。
引用
@article{arxiv.2110.01256,
title = {Revisiting Self-Training for Few-Shot Learning of Language Model},
author = {Yiming Chen and Yan Zhang and Chen Zhang and Grandee Lee and Ran Cheng and Haizhou Li},
journal= {arXiv preprint arXiv:2110.01256},
year = {2021}
}
备注
Accepted to EMNLP 2021