女孩是 Neko 还是 Shōjo？基于迭代归一化的非同构嵌入跨语言对齐
计算与语言
2019-11-12 v3 人工智能
机器学习
摘要
跨语言词嵌入（CLWE）支撑着许多多语言自然语言处理系统，通常通过对预训练单语嵌入进行正交变换来实现。然而，正交映射仅对嵌入自然同构的语言对有效。对于非同构语言对，我们的方法（迭代归一化，Iterative Normalization）通过对单语嵌入进行变换，使正交对齐更容易，同时强制要求：(1) 单个词向量为单位长度；(2) 每种语言的平均向量为零。迭代归一化持续提升了三种 CLWE 方法的词翻译准确率，其中在英语-日语上观察到的提升最大（测试准确率从 2% 提高到 44%）。
引用
@article{arxiv.1906.01622,
title = {Are Girls Neko or Sh\=ojo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization},
author = {Mozhi Zhang and Keyulu Xu and Ken-ichi Kawarabayashi and Stefanie Jegelka and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:1906.01622},
year = {2019}
}
备注
ACL 2019