每个词都很重要:个体人类与模型注意力对齐的多语言分析
计算与语言
2022-10-12 v1
摘要
已有研究表明,人类注视模式与基于 Transformer 的注意力之间存在强相关性。这些相关性分析通常未考虑参与者之间的个体差异,且多在单语数据集上进行,使得研究结果难以推广。本文中,我们分析了 13 种不同语言使用者的眼动数据,这些使用者分别阅读其母语 (L1) 以及作为语言学习者阅读英语 (L2)。我们发现不同语言之间存在显著差异,但同时也发现,诸如跳读率、总阅读时间和词汇知识 (LexTALE) 等个体阅读行为会影响人类与模型之间的对齐程度,其影响程度应在未来的研究中予以考虑。
关键词
引用
@article{arxiv.2210.04963,
title = {Every word counts: A multilingual analysis of individual human alignment with model attention},
author = {Stephanie Brandl and Nora Hollenstein},
journal= {arXiv preprint arXiv:2210.04963},
year = {2022}
}
备注
short paper, accepted at AACL 2022