STraTA：基于任务增强的自训练以提升少样本学习性能
计算与语言
2022-04-13 v2
摘要
尽管大规模预训练语言模型在应对许多 NLP 任务时近期取得了成功，但在仅有少量训练样本可用的少样本设定下表现并不理想。为弥补这一不足，我们提出 STraTA，即 Self-Training with Task Augmentation（基于任务增强的自训练），该方法建立在有效利用无标签数据的两个关键思想之上。首先，STraTA 使用任务增强，一种从目标任务无标签文本合成大量辅助任务微调数据的新技术。其次，STraTA 通过在广泛分布的伪标签数据上进一步微调由任务增强创建的强基模型来进行自训练。我们的实验表明，STraTA 能在 12 个少样本基准上大幅提升样本效率。值得注意的是，在 SST-2 情感数据集上，STraTA 每类仅用 8 个训练样本，就取得了与用 67K 训练样本的标准微调相当的结果。我们的分析揭示，任务增强与自训练既互补又各自独立有效。
引用
@article{arxiv.2109.06270,
title = {STraTA: Self-Training with Task Augmentation for Better Few-shot Learning},
author = {Tu Vu and Minh-Thang Luong and Quoc V. Le and Grady Simon and Mohit Iyyer},
journal= {arXiv preprint arXiv:2109.06270},
year = {2022}
}
备注
Accepted as a main conference paper at EMNLP 2021, 17 pages, 3 figures, 11 tables