多项选择阅读理解中的世界知识

近期研究表明，在完全无法接触上下文段落的情况下，多项选择阅读理解（MCRC）系统平均能以显著优于随机的水平回答问题。这些系统利用其积累的“世界知识”直接作答，而非使用段落中的信息。本文考察将这一观察作为测试设计者工具的可能性，以确保对特定问题集使用“世界知识”是可接受的。我们提出基于信息论的度量，用以评估系统所利用的“世界知识”水平。描述了两种度量：期望选项数，衡量无段落系统能否利用世界知识识别问题答案；以及上下文互信息，衡量上下文对给定问题的重要性。我们证明，具有低期望选项数（因而可由捷径系统作答）的问题，常同样可由无上下文的人类作答。这突显出通识“捷径”同样可被应试者使用，且我们提出的度量或有助于未来测试设计者监控问题质量。