分解、扰动、构建：通过问题分解对推理路径进行自动扰动
计算与语言
2021-10-20 v2
摘要
近期创建用于测试自然语言理解模型能力的挑战基准的工作，很大程度上依赖于人工标注。在这项工作中，我们引入了“分解、扰动、构建”（BPB）框架，用于对问答对进行面向推理的自动扰动。BPB 通过将问题分解为回答它所需的推理步骤来表示问题，对分解进行符号化扰动，然后生成新的问答对。我们通过为三个阅读理解（RC）基准创建评估集来展示 BPB 的有效性，在无需人工干预的情况下生成了数千个高质量样例。我们在评估集上评估了一系列 RC 模型，结果显示与原始数据相比，模型在生成样例上的性能存在巨大差距。此外，符号化扰动使得对模型的优势与局限进行细粒度分析成为可能。最后，用 BPB 生成的样例扩充训练数据有助于缩小性能差距，且在原始数据分布上无任何下降。
引用
@article{arxiv.2107.13935,
title = {Break, Perturb, Build: Automatic Perturbation of Reasoning Paths Through Question Decomposition},
author = {Mor Geva and Tomer Wolfson and Jonathan Berant},
journal= {arXiv preprint arXiv:2107.13935},
year = {2021}
}
备注
Accepted for publication in Transactions of the Association for Computational Linguistics (TACL), 2021. Author's final version