SwitchOut：一种用于神经机器翻译的高效数据增强算法
计算与语言
2018-08-29 v2
摘要
本文中，我们考察了面向基于文本的任务（如神经机器翻译（NMT））的数据增强方法。我们将具有理想性质的数据增强策略的设计表述为一个优化问题，并推导出一种通用的解析解。该解不仅包含了一些已有的增强方案，还导出了一种极简的 NMT 数据增强策略：将源句与目标句中的词随机替换为各自词表中的其他随机词。我们将此方法命名为 SwitchOut。在三个不同规模的翻译数据集上的实验表明，SwitchOut 带来约 0.5 BLEU 的稳定提升，取得优于或与词 dropout（Sennrich 等，2016a）等强基线相当的性能。实现该方法的代码包含在附录中。
引用
@article{arxiv.1808.07512,
title = {SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation},
author = {Xinyi Wang and Hieu Pham and Zihang Dai and Graham Neubig},
journal= {arXiv preprint arXiv:1808.07512},
year = {2018}
}
备注
Accepted as a short paper at the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018)