Eyettention：一种基于注意力的双序列模型用于预测阅读时人类扫描路径
计算与语言
2023-05-19 v2 人机交互
机器学习
摘要
阅读过程中的眼动既揭示了读者的认知过程，也反映了所读文本的特征。因此，阅读中扫描路径的分析在从认知科学、语言学至计算机科学等诸多领域吸引了越来越多的关注。特别是，边阅读边眼动追踪数据被认为具有使基于机器学习的语言模型展现出更类人语言行为的潜力。然而，对人类阅读扫描路径建模的主要挑战之一在于其双序列性质：单词依语言语法规则排序，而注视点按时间顺序排序。由于人类并非严格从左至右阅读，而是跳过或复视单词并回视先前单词，语言序列与时间序列的对齐并非易事。本文中，我们开发了Eyettention，首个同时处理单词序列与注视点时间序列的双序列模型。两序列的对齐通过跨序列注意力机制实现。我们表明Eyettention在预测扫描路径上优于最先进模型。我们提供了针对不同语言的详尽数据集内与跨数据集评估。消融研究与定性分析增进了对模型行为的深入理解。
引用
@article{arxiv.2304.10784,
title = {Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading},
author = {Shuwen Deng and David R. Reich and Paul Prasse and Patrick Haller and Tobias Scheffer and Lena A. Jäger},
journal= {arXiv preprint arXiv:2304.10784},
year = {2023}
}