眼动数据能否用作词嵌入评估的黄金标准？
计算与语言
2018-04-25 v1
摘要
近年来，分布式语义模型在词汇语义建模任务中取得了一定成功。然而，科学界仍不清楚这些模型最可靠的评估方法是什么。一些研究者认为，唯一可能的黄金标准可能来自存储人类认知信息的神经认知资源。此类资源之一是默读过程中的眼动数据。本工作的目标是检验此类数据是否可用于评估不同语言上的分布式语义模型这一假设。我们提出了利用英语和俄语眼动数据集（Provo Corpus、GECO 和 Russian Sentence Corpus）、词向量（在国家语料库和 Web 语料库上训练的 Skip-Gram 模型）以及由人类评定的俄语和英语词语相似度数据集进行的实验，以寻找嵌入与眼动数据之间相关性的存在，并检验该相关性与语言无关这一假设。结果我们发现，所检验假设的有效性值得质疑。
引用
@article{arxiv.1804.08749,
title = {Can Eye Movement Data Be Used As Ground Truth For Word Embeddings Evaluation?},
author = {Amir Bakarov},
journal= {arXiv preprint arXiv:1804.08749},
year = {2018}
}
备注
1st Workshop on Linguistic and Neuro-Cognitive Resources (LiNCR)