词嵌入空间的量化 Wasserstein Procrustes 对齐
计算与语言
2022-12-06 v1
摘要
最优传输（OT）提供了一个有用的几何框架，用于在将对齐任务表述为 Wasserstein-Procrustes 问题的无监督跨语言词嵌入（CLWE）模型下估计置换矩阵。然而，用于计算置换矩阵的线性规划算法和通过 Sinkhorn 的近似 OT 求解器分别随输入规模呈三次和二次计算负担，带来了显著的计算开销。这使得在较大输入规模下精确计算 OT 距离缓慢且不可行，导致置换矩阵的近似质量差，进而使学习到的传输函数或映射器鲁棒性较低。本文提出一种称为量化 Wasserstein Procrustes（qWP）的无监督基于投影的 CLWE 模型。qWP 依赖对源和目标单语嵌入空间的量化步骤，以在廉价的采样过程下估计置换矩阵。该方法在给定固定计算成本下显著改善了经验 OT 求解器的近似质量。我们证明 qWP 在双语词典归纳（BLI）任务上取得了最先进的结果。
引用
@article{arxiv.2212.02468,
title = {Quantized Wasserstein Procrustes Alignment of Word Embedding Spaces},
author = {Prince O Aboagye and Yan Zheng and Michael Yeh and Junpeng Wang and Zhongfang Zhuang and Huiyuan Chen and Liang Wang and Wei Zhang and Jeff Phillips},
journal= {arXiv preprint arXiv:2212.02468},
year = {2022}
}