利用语言-图像预训练实现高效鲁棒的双语词对齐
计算与语言
2022-11-08 v2 机器学习
摘要
无平行语料库的词语翻译已成为可行，其性能可与有监督方法相媲美。近期研究发现，利用作为跨语言通用表示的视觉观测，可提升无监督词翻译(UWT)的准确率和鲁棒性。在本工作中，我们探究了不仅使用视觉观测，还使用预训练语言-图像模型以实现更高效、更鲁棒UWT的潜力。具体而言，我们提出了一种称为利用语言-图像预训练的词对齐(WALIP)的新型UWT方法，该方法通过CLIP模型(Radford et al., 2021)提供的图像与文本共享嵌入空间来利用视觉观测。WALIP包含两步流程。首先，我们使用提出的基于图像的指纹检索具有高相似度置信度的词对，这些词对定义了词对齐的初始枢轴。其次，我们应用鲁棒的Procrustes算法估计两个嵌入空间之间的线性映射，该算法迭代地修正并精炼估计的对齐。我们大量的实验表明，WALIP在不同词嵌入的若干语言对上改进了双语词对齐的SOTA性能，并对语言对或两种词嵌入训练语料的不相似性表现出极强的鲁棒性。
引用
@article{arxiv.2205.11616,
title = {Utilizing Language-Image Pretraining for Efficient and Robust Bilingual Word Alignment},
author = {Tuan Dinh and Jy-yong Sohn and Shashank Rajput and Timothy Ossowski and Yifei Ming and Junjie Hu and Dimitris Papailiopoulos and Kangwook Lee},
journal= {arXiv preprint arXiv:2205.11616},
year = {2022}
}
备注
In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP Findings)