语音翻译中用于语言扩展的任务算术
计算与语言
2025-07-30 v3 人工智能
摘要
大语言模型（LLMs）的最新进展引起了人们对语音-文本多模态基础模型的兴趣，这些模型在指令微调的语音翻译（ST）上取得了强大的性能。然而，由于需要在合并的新旧数据集上重新训练，扩展语言对成本高昂。为解决此问题，我们旨在利用任务算术，从现有的一对一ST系统构建一对多ST系统，而无需重新训练。在ST中直接应用任务算术会导致语言混淆；因此，我们引入了一种增强的任务算术方法，该方法结合了语言控制模型以确保生成正确的目标语言。我们在MuST-C和CoVoST-2数据集上的实验显示，BLEU分数分别提高了4.66和4.92，COMET增益分别达到8.87和11.83。此外，我们展示了我们的框架可以通过任务类比，基于现有的机器翻译（MT）和ST模型合成ST模型，从而扩展到缺乏配对ST训练数据或预训练ST模型的语言对。
引用
@article{arxiv.2409.11274,
title = {Task Arithmetic for Language Expansion in Speech Translation},
author = {Yao-Fei Cheng and Hayato Futami and Yosuke Kashiwagi and Emiru Tsunoo and Wen Shen Teo and Siddhant Arora and Shinji Watanabe},
journal= {arXiv preprint arXiv:2409.11274},
year = {2025}
}