基于多语言 Transformer 模型的零样本跨语言眼动数据预测
计算与语言
2022-03-31 v1 机器学习
摘要
阅读过程中的眼动数据是用于理解语言理解过程中所发生认知过程的有用信息来源。不同语言对应不同的大脑触发机制，但似乎存在一些一致的指标。在本文中，我们描述了提交给 CMCL 2022 多语言数据集人类阅读模式预测共享任务的工作。我们的模型使用来自 transformer 的文本表示以及一些手工设计的特征，并在其上叠加一个回归层，以预测两个主要眼动特征的均值和标准差的统计度量。我们训练了一个端到端模型以从不同语言中提取有意义的信息，并在两个独立的数据集上测试了我们的模型。我们比较了不同的 transformer 模型并展示了影响模型性能的消融研究。我们的最终提交在共享任务的 SubTask-1 中排名第 4，在 SubTask-2 中排名第 1。
引用
@article{arxiv.2203.16474,
title = {Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models},
author = {Harshvardhan Srivastava},
journal= {arXiv preprint arXiv:2203.16474},
year = {2022}
}