从眼动信号解码阅读中开放-ended 信息寻求目标

阅读时，我们常常对文本中特定信息感兴趣。例如，你可能正在阅读本文是因为对 LLM 在阅读中眼动的研究感兴趣，或者你想了解实验设计，或许你会想到“这听起来像是科幻，它真的有效吗？”。更广泛地说，在日常生活中，人们会以各种文本特定的目标来approach 文本，这些目标指导他们的阅读行为。在本工作中，我们首次询问是否可以仅仅从阅读中的眼动信号自动解码开放-ended 阅读目标。为此，我们引入了使用英语中大规模眼动跟踪数据的目标解码任务和评估框架，涉及数百种文本特定信息寻求任务。我们开发并比较了几种判别式和生成式多模态文本和眼动 LLM 用于这些任务。我们的实验显示，在在多个选项中选择正确目标的任务上取得了显著成功，即使在对自由形式文本精确目标表述的重建任务上也取得了进展。这些结果为进一步的科学研究目标驱动的阅读，以及依赖于从读者眼动中实时解码读者目标的教育和辅助技术的开发打开了可能。