通过微调与上下文学习引导大语言模型用于机器翻译
计算与语言
2023-10-23 v1
摘要
大语言模型（LLMs）是机器翻译（MT）的一条有前景的途径。然而，当前基于 LLM 的 MT 系统较为脆弱：其效果高度依赖于少样本示例的选择，且由于过度生成，往往需要额外的后处理。诸如在翻译指令上微调等替代方案计算开销大，并且可能因过度专门化而削弱上下文学习能力。本文对此问题进行了更深入的考察。我们首先表明，使用 LoRA 的基于适配器的微调在将训练参数数量减少 50 倍的同时，与传统微调性能相当。该方法还优于少样本提示，并消除了后处理或上下文示例的需求。然而，我们表明微调通常会降低少样本性能，从而阻碍适应能力。最后，为了两全其美，我们提出了一种在微调过程中引入少样本示例的简单方法。在 10 个语言对上的实验表明，我们提出的方法在保持微调所带来的额外收益的同时，恢复了原有的少样本能力。
引用
@article{arxiv.2310.13448,
title = {Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning},
author = {Duarte M. Alves and Nuno M. Guerreiro and João Alves and José Pombal and Ricardo Rei and José G. C. de Souza and Pierre Colombo and André F. T. Martins},
journal= {arXiv preprint arXiv:2310.13448},
year = {2023}
}
备注
Accepted at EMNLP 2023 - Findings