TorontoCL在CMCL 2021共享任务中的系统：采用多阶段微调的RoBERTa用于眼动追踪预测
计算与语言
2021-04-16 v1
摘要
阅读过程中的眼动数据是用于理解语言理解过程的有用信息来源。在本文中，我们描述了提交给CMCL 2021关于预测人类阅读模式共享任务的作品。我们的模型使用带有回归层的RoBERTa来预测5个眼动追踪特征。我们分两个阶段训练模型：首先在Provo语料库（另一个眼动追踪数据集）上微调，然后在任务数据上微调。我们比较了不同的Transformer模型并应用集成方法以提升性能。我们的最终提交取得了3.929的MAE分数，在参与该共享任务的13支队伍中排名第3。
引用
@article{arxiv.2104.07244,
title = {TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction},
author = {Bai Li and Frank Rudzicz},
journal= {arXiv preprint arXiv:2104.07244},
year = {2021}
}
备注
Cognitive Modeling and Computational Linguistics Workshop (CMCL) at NAACL 2021