组合泛化的简单有效数据增强方法
计算与语言
2024-01-19 v1
摘要
组合泛化是指从较简单句子的训练中预测复杂含义的能力，这对强大的预训练 seq2seq 模型构成了挑战。在本文中，我们表明，对意义表示 (MRs) 进行采样并进行回译的数据增强方法对组合泛化是有效的，但前提是我们必须从正确的分布中进行采样。值得注意的是，从均匀分布中采样的表现几乎与从测试分布中采样一样好，并且大大优于早期从训练分布中采样的方法。我们进一步进行了实验，以探究发生这种情况的原因以及此类数据增强方法的益处来源。
引用
@article{arxiv.2401.09815,
title = {Simple and effective data augmentation for compositional generalization},
author = {Yuekun Yao and Alexander Koller},
journal= {arXiv preprint arXiv:2401.09815},
year = {2024}
}