PAWS：基于词序打乱的复述对抗样本数据集

现有的复述识别数据集缺乏具有高词汇重叠却并非复述的句子对。在此类数据上训练的模型无法区分“从纽约飞往佛罗里达的航班”和“从佛罗里达飞往纽约的航班”这样的句子对。本文介绍了 PAWS（Paraphrase Adversaries from Word Scrambling，基于词序打乱的复述对抗样本），这是一个包含 108,463 个形式良好、具有高词汇重叠的复述与非复述对的新数据集。具有挑战性的句子对通过受控的词交换与回译生成，随后由人工评分员进行流畅度与复述判断。在现有数据集上训练的最先进模型在 PAWS 上表现糟糕（准确率低于 40%）；然而，为这些模型加入 PAWS 训练数据后，其准确率提升至 85%，同时在现有任务上保持性能。相比之下，未能捕捉非局部上下文信息的模型即使有 PAWS 训练样本也依然失败。因此，PAWS 为推动更好地利用结构、上下文与成对比较的模型取得进一步进展提供了有效工具。