机器阅读理解基准测试：一种心理学视角
计算与语言
2021-01-27 v2
摘要
机器阅读理解(MRC)作为自然语言理解的基准已受到相当多的关注。然而，MRC的传统任务设计缺乏超越模型解释的可解释性，即无法以人类术语解释模型的阅读理解过程。为此，本立场论文基于心理学与心理测量学为MRC数据集的设计提供了理论基础，并就其作为MRC基准测试的先决条件进行了总结。我们得出结论：未来的数据集应当(i)评估模型构建连贯且基于事实的表征以理解上下文依赖情境的能力，且(ii)通过防捷径问题及将解释作为任务设计的一部分来确保实质效度。
引用
@article{arxiv.2004.01912,
title = {Benchmarking Machine Reading Comprehension: A Psychological Perspective},
author = {Saku Sugawara and Pontus Stenetorp and Akiko Aizawa},
journal= {arXiv preprint arXiv:2004.01912},
year = {2021}
}
备注
21 pages, EACL 2021