阅读理解需要多少阅读？对流行基准的批判性考察

许多近期论文关注阅读理解，其样本由 (问题, 段落, 答案) 三元组构成。据推测，模型必须结合问题与段落中的信息来预测相应答案。然而，尽管该话题备受关注，数百篇已发表论文争夺排行榜主导地位，关于许多流行基准难度的基本问题仍悬而未决。本文为 bAbI、SQuAD、CBT、CNN 和 Who-did-What 数据集建立了合理的基线，发现仅用问题或仅用段落的模型往往表现得出奇地好。在 $20$ 个 bAbI 任务中的 $14$ 个上，仅用段落的模型达到了大于 $50\%$ 的准确率，有时与完整模型相当。有趣的是，尽管 CBT 提供 $20$ 句故事，仅最后一句就足以作出准确度相近的预测。相比之下，SQuAD 和 CNN 看似构建得更好。