基于大语言模型的翻译假设集成实证研究
计算与语言
2023-10-18 v1
摘要
大语言模型(LLM)正成为一种一招通吃的方案，但它们有时会幻觉或产生不可靠输出。本文研究假设集成如何提升基于LLM的机器翻译这一特定问题中生成文本的质量。我们尝试了多种对ChatGPT、LLaMA和Alpaca等LLM产生的假设进行集成的方法。我们沿多个维度提供了全面研究，包括生成假设的方法（多提示、基于温度的采样和束搜索）以及产生最终翻译的策略（基于指令、基于质量的重排序和最小贝叶斯风险(MBR)解码）。我们的结果表明，MBR解码是一种非常有效的方法，使用少量样本即可提升翻译质量，且指令微调对假设多样性与采样温度之间的关系有强烈影响。
引用
@article{arxiv.2310.11430,
title = {An Empirical Study of Translation Hypothesis Ensembling with Large Language Models},
author = {António Farinhas and José G. C. de Souza and André F. T. Martins},
journal= {arXiv preprint arXiv:2310.11430},
year = {2023}
}
备注
EMNLP 2023 (main conference)