SCALE：非对称语言翻译引擎的协同协作
计算与语言
2023-10-02 v1 人工智能
摘要
本文中，我们介绍 SCALE，一种将紧凑的专用翻译模型（STMs）与通用大语言模型（LLMs）连接为统一翻译引擎的协作框架。通过将 STM 的翻译引入三元组上下文演示中，SCALE 释放了 LLM 的精炼与枢轴能力，从而缓解 LLM 的语言偏置和 STM 的平行数据偏置，在不牺牲通用性的前提下增强 LLM 专业性，并无需昂贵的 LLM 微调即可促进持续学习。我们的综合实验表明，SCALE 在具有挑战性的低资源设置中显著优于少样本 LLM（GPT-4）与专用模型（NLLB）。此外，在科萨语到英语翻译中，SCALE 借助仅含 6 亿参数的紧凑模型，在未调优 LLM 的情况下 BLEURT 分数持续提升 4 分，并在配备该模型时以 2.5 分 COMET 和 3.8 分 BLEURT 超越少样本 GPT-4。SCALE 还可利用以英语为中心的 STM 作为任意语言对间翻译的枢轴，有效挖掘 LLM 现有语言偏置，在八个翻译方向上平均超越少样本 GPT-4 达 6 个 COMET 点。此外，我们深入分析了 SCALE 的鲁棒性、翻译特性与延迟成本，为未来探索 LLM 与更专用任务特定模型间潜在协同的研究提供坚实基础。
引用
@article{arxiv.2309.17061,
title = {SCALE: Synergized Collaboration of Asymmetric Language Translation Engines},
author = {Xin Cheng and Xun Wang and Tao Ge and Si-Qing Chen and Furu Wei and Dongyan Zhao and Rui Yan},
journal= {arXiv preprint arXiv:2309.17061},
year = {2023}
}