FlipDA:用于少样本学习的有效且鲁棒的数据增强方法
计算与语言
2022-03-16 v2
摘要
以往大多数文本数据增强方法局限于简单任务和弱基线。我们在困难任务(即少样本自然语言理解)和强基线(即参数超过十亿的预训练模型)上探索数据增强。在此设定下,我们复现了大量以往的增强方法,发现这些方法至多带来微小增益,有时甚至大幅降低性能。为应对该挑战,我们提出一种新颖的数据增强方法 FlipDA,其联合使用生成模型和分类器来生成标签翻转数据。FlipDA 的核心思想在于发现:生成标签翻转数据比生成标签保持数据对性能更为关键。实验表明,FlipDA 在有效性与鲁棒性之间取得了良好权衡——它大幅改进了许多任务,同时不会对其他任务产生负面影响。
引用
@article{arxiv.2108.06332,
title = {FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning},
author = {Jing Zhou and Yanan Zheng and Jie Tang and Jian Li and Zhilin Yang},
journal= {arXiv preprint arXiv:2108.06332},
year = {2022}
}