为何不同算法得到的英文词嵌入的无监督对齐如此困难？
计算与语言
2018-09-05 v1
摘要
本文向学界提出一项挑战：生成对抗网络（GANs）仅基于分布信息就能完美对齐使用同一算法独立诱导出的英文词嵌入；但对于两种不同嵌入算法却无法做到。为何如此？我们相信理解其原因，是理解现代词嵌入算法以及GANs的局限性与不稳定动力学的关键。本文表明（a）在所有这些对齐失败的情形中，两个嵌入间存在线性变换（因此算法偏差不会导致非线性差异），且（b）类似效应不能轻易通过调节超参数获得。基于我们初步实验的一个合理推测是，嵌入算法的归纳偏差差异导致了充满局部最优的优化地形，从而引起极小的收敛 basin，但我们将本文更多作为挑战性论文而非技术贡献呈现。
引用
@article{arxiv.1809.00150,
title = {Why is unsupervised alignment of English embeddings from different algorithms so hard?},
author = {Mareike Hartmann and Yova Kementchedjhieva and Anders Søgaard},
journal= {arXiv preprint arXiv:1809.00150},
year = {2018}
}
备注
Accepted at EMNLP 2018