跨语言词嵌入评估的局限性
计算与语言
2018-06-07 v1
摘要
本工作旨在探索现有跨语言词嵌入评估方法的潜在局限性，针对内在与外在跨语言评估方法之间缺乏相关性的问题进行探讨。为证明该假设，我们构建了用于外在和内在评估任务的英语-俄语数据集，并比较了5种不同跨语言模型在其上的表现。结果表明，即使在不同内在基准上的分数也互不相关。我们可以得出结论，除非了解母语者在认知中如何处理语义，否则将人类参考作为跨语言词嵌入的真实基准是不合适的。
引用
@article{arxiv.1806.02253,
title = {The Limitations of Cross-language Word Embeddings Evaluation},
author = {Amir Bakarov and Roman Suvorov and Ilya Sochenkov},
journal= {arXiv preprint arXiv:1806.02253},
year = {2018}
}
备注
In Proceedings of the 7th Joint Conference on Lexical and Computational Semantics (*SEM 2018)