通过生成困难上下文来教授多步问答的广泛推理技能
计算与语言
2022-11-07 v2 人工智能
摘要
问答数据集需要广泛的推理技能。我们展示了如何利用问题分解以鲁棒方式教语言模型这些广泛推理技能。具体而言，我们使用广泛可用的 QDMR 表示，以编程方式为六个多步推理数据集中的真实问题创建难以作弊的合成上下文。这些上下文经过精心设计，以避免真实上下文中普遍存在的、阻碍模型学习正确技能的推理捷径。这产生了一个名为 TeaBReaC 的预训练数据集，包含 525K 个多步问题（含关联的形式化程序），覆盖约 900 种推理模式。我们表明，在目标数据集上微调前，先在 TeaBReaC 上预训练标准语言模型（LM），可在 4 个多步 QA 数据集上将其性能提升至多 13 个 F1 点，在更复杂问题上增益达 21 点。所得模型还展现出更高鲁棒性，在两个对比集上取得 5-8 个 F1 点的改进。此外，即使从使用近期方法（如 PReasM、POET）预训练的数值语言模型出发，TeaBReaC 预训练仍大幅改进模型性能与鲁棒性。因此，我们的工作展示了如何有效利用分解引导的上下文来鲁棒地教授多步推理。
引用
@article{arxiv.2205.12496,
title = {Teaching Broad Reasoning Skills for Multi-Step QA by Generating Hard Contexts},
author = {Harsh Trivedi and Niranjan Balasubramanian and Tushar Khot and Ashish Sabharwal},
journal= {arXiv preprint arXiv:2205.12496},
year = {2022}
}
备注
Accepted at EMNLP'22