离线双语词向量、正交变换与逆 softmax
计算与语言
2017-02-14 v1 人工智能
信息检索
摘要
通常双语词向量是在“在线”训练的。Mikolov 等人表明也可以“离线”获得，即利用专家知识编译的词典，通过线性变换对齐两个预训练的嵌入。在本工作中，我们证明两个空间之间的线性变换应为正交变换。该变换可通过奇异值分解获得。我们引入了一种新颖的“逆 softmax”用于识别翻译对，将 Mikolov 原始映射在将包含常见和罕见英语单词的测试集翻译成意大利语时的 precision@1 从 34% 提高到 43%。正交变换对噪声更鲁棒，使我们能够在没有专家双语信号的情况下学习变换，通过从两种语言中都出现的相同字符串构建“伪词典”，在相同测试集上达到 40% 的精度。最后，我们将该方法扩展到从 20 万意大利语句子的语料库中检索英语句子的真实翻译，precision@1 达到 68%。
引用
@article{arxiv.1702.03859,
title = {Offline bilingual word vectors, orthogonal transformations and the inverted softmax},
author = {Samuel L. Smith and David H. P. Turban and Steven Hamblin and Nils Y. Hammerla},
journal= {arXiv preprint arXiv:1702.03859},
year = {2017}
}
备注
Accepted to conference track at ICLR 2017