在主题对齐语料存在下学习多语言嵌入用于跨语言信息检索
信息检索
2018-04-13 v1 计算与语言
摘要
在缺乏对齐平行语料的情况下,跨语言信息检索是一项具有挑战性的任务。本文通过考虑为评估IR设置而设计的主题对齐语料来解决此问题。需强调,我们既不使用任何句子对齐语料或文档对齐语料,也不使用任何语言特定资源如词典、同义词词典或语法规则。相反,我们使用向公共空间的嵌入并直接从该空间学习词对应。我们在标准的FIRE数据集(孟加拉语、印地语和英语)上测试了所提出的双语IR方法。所提方法不仅对于IR评价指标,而且在时间需求方面均优于最先进(state-of-the-art)方法。我们成功地将方法扩展至三语设定。
引用
@article{arxiv.1804.04475,
title = {Learning Multilingual Embeddings for Cross-Lingual Information Retrieval in the Presence of Topically Aligned Corpora},
author = {Mitodru Niyogi and Kripabandhu Ghosh and Arnab Bhattacharya},
journal= {arXiv preprint arXiv:1804.04475},
year = {2018}
}