非通用语言分隔：迈向判断语言感知的向量空间建模
计算与语言
2015-12-08 v5
摘要
向量空间模型(VSMs)文献中常见的评估实践是衡量模型预测人类对词对之间词汇语义关系的判断能力。然而大多数现有评估集仅包含为英文词对收集的分数，忽略了呈现词对的判断语言对人类分数的潜在影响。本文将两个著名评估集wordsim353(关联)和SimLex999(相似度)从英文翻译为意大利语、德语和俄语，并从精通该语言的众包工作者处收集每个数据集的分数。我们的分析显示人类判断受判断语言强烈影响。此外，我们表明单语VSMs的预测不一定与用模型训练所用语言做出的人类判断最相关，表明模型和人类在做出语义判断时受使用语言的影响不同。最后，我们显示在大量设置中，多语VSM组合导致与人类判断相关性的提升，表明多语制可部分补偿判断语言对人类判断的影响。
引用
@article{arxiv.1508.00106,
title = {Separated by an Un-common Language: Towards Judgment Language Informed Vector Space Modeling},
author = {Ira Leviant and Roi Reichart},
journal= {arXiv preprint arXiv:1508.00106},
year = {2015}
}