基于眼动追踪、标注与语言模型的文本风格显著性比较研究
计算与语言
2023-10-24 v2
摘要
将眼动追踪数据及其他人类语言处理的隐式度量纳入自然语言处理（NLP）流程的兴趣日益增长。人类语言处理数据包含对人类语言理解的独特洞见，可被语言模型所利用。然而，关于此类数据的性质以及其如何能最佳用于下游 NLP 任务，许多问题仍待解答。在本文中，我们提出 eyeStyliency，一个用于人类处理风格化文本（如礼貌）的眼动追踪数据集。我们开发了多种方法，利用所收集的眼动数据集推导文本上的风格显著性分数。我们进一步探究该显著性数据如何与人类标注方法以及基于模型的可解释性度量相比较。我们发现，尽管眼动追踪数据独特，它也与人类标注和基于模型的重要性分数相交，提供了人机视角间可能的桥梁。我们提议利用此类数据来评估解释风格之模型的认知合理性。我们的眼动追踪数据与处理代码已公开可用。
引用
@article{arxiv.2212.09873,
title = {A Comparative Study on Textual Saliency of Styles from Eye Tracking, Annotations, and Language Models},
author = {Karin de Langis and Dongyeop Kang},
journal= {arXiv preprint arXiv:2212.09873},
year = {2023}
}