ProMap：基于语言模型提示的有效双语词典归纳
计算与语言
2023-10-31 v1
摘要
双语词典归纳（BLI）旨在两种语言间翻译词语，是一项重要的NLP任务。尽管利用静态词嵌入在富资源语言上的BLI已取得显著进展，但通过融入上下文词嵌入信息可进一步提升词语翻译性能。本文提出ProMap，一种利用提示（prompting）预训练多语言与多方言语言模型以应对这些挑战的BLI新方法。为克服此类模型中子词令牌的使用，ProMap依赖于以种子词典对语言模型进行有效填充式提示，该词典在独立使用时即可取得良好性能。我们还展示了ProMap在对其他BLI方法（如对齐静态词嵌入）结果重排序中的有效性。在富资源与低资源语言上的评估中，ProMap一致取得SOTA结果。此外，ProMap在少样本场景（甚至少于10个训练样本）下可实现强劲性能，使其成为低资源语言翻译的有价值工具。总体而言，我们认为该方法为BLI尤其是低资源语言下的BLI提供了令人振奋且大有前景的方向。ProMap代码与数据见 \url{https://github.com/4mekki4/promap}。
引用
@article{arxiv.2310.18778,
title = {ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting},
author = {Abdellah El Mekki and Muhammad Abdul-Mageed and ElMoatez Billah Nagoudi and Ismail Berrada and Ahmed Khoumsi},
journal= {arXiv preprint arXiv:2310.18778},
year = {2023}
}
备注
To appear in IJCNLP-AACL 2023