ScanDL：一种用于生成文本合成扫描路径的扩散模型
计算与语言
2023-10-25 v1
摘要
阅读中的眼动在以心理语言学研究中探究人类语言加工认知机制方面起着关键作用。近来，眼动与认知间的紧密耦合也被用于语言相关的机器学习任务，如语言模型的可解释性、增强与预训练，以及读者与文本特定属性的推断。然而，眼动数据的稀缺性及其在应用时的不可得性对这一研究方向构成重大挑战。最初，该问题通过认知模型合成眼动数据来解决；但就生成类人扫描路径这一目的而言，纯数据驱动的基于机器学习的方法已被证明更为合适。借鉴近期将扩散过程适配于离散数据的进展，我们提出 ScanDL，一种生成文本上合成扫描路径的新型离散序列到序列扩散模型。通过利用预训练词表征并联合嵌入刺激文本与注视序列，我们的模型捕捉了两输入间的多模态交互。我们在数据集内与跨数据集上评估 ScanDL，证明其显著优于最先进的扫描路径生成方法。最后，我们提供了广泛的心理语言学分析，凸显模型展现类人阅读行为的能力。我们的实现发布于 https://github.com/DiLi-Lab/ScanDL。
引用
@article{arxiv.2310.15587,
title = {ScanDL: A Diffusion Model for Generating Synthetic Scanpaths on Texts},
author = {Lena S. Bolliger and David R. Reich and Patrick Haller and Deborah N. Jakobi and Paul Prasse and Lena A. Jäger},
journal= {arXiv preprint arXiv:2310.15587},
year = {2023}
}
备注
EMNLP 2023