IsoVec：控制词嵌入空间的相对同构性
计算与语言
2023-07-06 v3 机器学习
摘要
从单语词嵌入空间中提取高质量翻译词典的能力关键取决于这些空间的几何相似性——即它们的“同构”程度。我们解决了跨语言映射错误的根本原因：词嵌入训练导致底层空间非同构。我们将同构的全局度量直接纳入 Skip-gram 损失函数中，成功提高了训练后词嵌入空间的相对同构性，并提升了其映射到共享跨语言空间的能力。其结果是在一般数据条件下、领域不匹配以及训练算法差异下，均能改善双语词典归纳。我们在 https://github.com/kellymarchisio/isovec 上发布了 IsoVec。
引用
@article{arxiv.2210.05098,
title = {IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces},
author = {Kelly Marchisio and Neha Verma and Kevin Duh and Philipp Koehn},
journal= {arXiv preprint arXiv:2210.05098},
year = {2023}
}
备注
Updated EMNLP2022 Camera Ready (citation correction, removed references to dimensionality reduction [was not used here].)