MuSiQue：通过单跳问题组合构造多跳问题

多跳推理仍是一个难以达成的目标，因为已知现有多跳基准在很大程度上可通过捷径求解。我们能否构建一个在构造上就\emph{要求}恰当多跳推理的问答（QA）数据集？为此，我们引入一种自底向上方法，系统性地选择相互连接的可组合单跳问题对，即其中一个推理步骤关键依赖于另一推理步骤的信息。该自底向上方法让我们能够探索广阔的问题空间，并添加严格过滤器以及其他针对连接式推理的机制。它提供了对构造过程及所得 $k$ 跳问题属性的细粒度控制。我们利用该方法创建了 MuSiQue-Ans，一个含 25K 个 2-4 跳问题的新多跳 QA 数据集。相对于现有数据集，MuSiQue-Ans 整体更难（人机差距增大 3 倍），且更难通过非连接推理作弊（例如，单跳模型 F1 下降 30 点）。我们进一步添加不可答对比问题以产生更严格的数据集 MuSiQue-Full。我们希望我们的数据集能帮助 NLP 社区开发执行真正多跳推理的模型。