融合合成扫描路径的预训练语言模型用于自然语言理解
计算与语言
2023-10-24 v1
摘要
人类注视数据提供了反映自然语言理解的认知信息。事实上，用人类扫描路径增强语言模型已被证明有益于一系列NLP任务，包括语言理解。然而，该方法的应用性受到限制，因为丰富的文本语料与匮乏的注视数据形成鲜明对比。尽管已开发出用于在阅读期间生成类人扫描路径的模型，但合成注视数据在NLP任务中的潜力仍基本未被探索。我们开发了一种将合成扫描路径生成与扫描路径增强语言模型相集成的模型，从而无需人类注视数据。由于模型的误差梯度可传播至模型所有部分，扫描路径生成器可针对下游任务进行微调。我们发现所提模型不仅优于底层语言模型，而且达到了与用真实人类注视数据增强的语言模型相当的性能。我们的代码已公开可用。
引用
@article{arxiv.2310.14676,
title = {Pre-Trained Language Models Augmented with Synthetic Scanpaths for Natural Language Understanding},
author = {Shuwen Deng and Paul Prasse and David R. Reich and Tobias Scheffer and Lena A. Jäger},
journal= {arXiv preprint arXiv:2310.14676},
year = {2023}
}
备注
Pre-print for EMNLP 2023