基于眼动信号的细粒度阅读理解预测

人类的阅读理解能否通过阅读中的眼动信号进行评估？本文使用大规模眼动跟踪数据，对针对阅读理解行为分析设计的文本材料，回答这一长期存在的疑问。我们聚焦于从眼动信号在段落层面预测单题阅读理解这一细粒度且鲜有人问的任务。我们通过构建三个新的多模态语言模型，以及文献中一系列先前模型来应对这一任务。我们评估了模型在新文本项目、新参与者以及两者组合情况下的泛化能力，涉及两种不同的阅读场景：普通阅读和信息检索。评估结果表明，尽管该任务极具挑战性，但眼动信号包含有用的信号，可用于细粒度预测阅读理解。代码与数据将公开提供。