利用对比对齐指令微调大语言模型以实现未见低资源语言的机器翻译
计算与语言
2024-07-23 v2 人工智能
摘要
本文引入对比对齐指令（AlignInstruct），以应对大语言模型（LLMs）上机器翻译（MT）面临的两个挑战。其一是将支持的语言扩展到之前未见过的语言。其二涉及低资源语言的数据匮乏。通过机器翻译指令（MTInstruct）进行模型微调是应对第一个挑战的直接方法。然而，MTInstruct 受到第二个挑战中固有的弱跨语言信号的限制。AlignInstruct 通过一个利用统计词对齐构建的跨语言判别器来强调跨语言监督。我们基于在多达 24 种未见语言上微调 BLOOMZ 模型（1b1、3b 和 7b1）的结果表明：（1）LLMs 可以使用 MTInstruct 有效翻译未见语言；（2）AlignInstruct 在涉及英语的 48 个翻译方向上带来了翻译质量的一致提升；（3）基于判别器的指令作为跨语言指令优于其生成式对应物；（4）AlignInstruct 在 30 个零样本方向上提升了性能。
引用
@article{arxiv.2401.05811,
title = {Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages},
author = {Zhuoyuan Mao and Yen Yu},
journal= {arXiv preprint arXiv:2401.05811},
year = {2024}
}
备注
Accepted to LoResMT 2024