中文

用于无监督词翻译的自增强上下文学习

计算与语言 2024-06-06 v2 人工智能 信息检索 机器学习

摘要

最近的工作表明,虽然大型语言模型 (LLMs) 在少样本设置中表现出强大的词翻译或双语词典归纳 (BLI) 能力,但在没有种子翻译对的无监督场景中,它们仍然无法匹配“传统”基于映射的方法的性能,特别是对于低资源语言。为了应对 LLMs 的这一挑战,我们提出了用于无监督 BLI 的自增强上下文学习 (SAIL):从零样本提示开始,SAIL 迭代地从 LLM 中诱导出一组高置信度的词翻译对用于上下文学习 (ICL),然后以 ICL 方式将其重新应用于同一 LLM。我们的方法在两个涵盖广泛语言对的既定 BLI 基准测试上,相较于 LLMs 的零样本提示显示出显著提升,并且在各方面都优于基于映射的基线。除了实现最先进的无监督 BLI 性能外,我们还对 SAIL 进行了全面分析并讨论了其局限性。

关键词

引用

@article{arxiv.2402.10024,
  title  = {Self-Augmented In-Context Learning for Unsupervised Word Translation},
  author = {Yaoyiran Li and Anna Korhonen and Ivan Vulić},
  journal= {arXiv preprint arXiv:2402.10024},
  year   = {2024}
}

备注

ACL 2024 Main Conference; 11 Pages, 3 Figures, 9 Tables