序列级混合样本数据增强
计算与语言
2020-11-19 v1 机器学习
摘要
尽管神经网络在经验上取得了成功，但在捕捉自然语言的组合性方面仍然存在困难。这项工作提出了一种简单的数据增强方法，以鼓励序列到序列问题的神经模型中的组合行为。我们的方法 SeqMix 通过软组合训练集中的输入/输出序列来创建新的合成示例。我们将此方法与 SwitchOut 和 word dropout 等现有技术联系起来，并表明这些技术都是在逼近单一目标的不同变体。SeqMix 在五个不同的翻译数据集上比强大的 Transformer 基线持续产生约 1.0 BLEU 的提升。在需要强组合泛化的任务（如 SCAN 和语义解析）上，SeqMix 也提供了进一步的改进。
引用
@article{arxiv.2011.09039,
title = {Sequence-Level Mixed Sample Data Augmentation},
author = {Demi Guo and Yoon Kim and Alexander M. Rush},
journal= {arXiv preprint arXiv:2011.09039},
year = {2020}
}
备注
EMNLP 2020