从TOWER到SPIRE：为翻译专家型大语言模型添加语音模态
计算与语言
2025-10-23 v3
摘要
我们介绍Spire，这是一个集成语音模态的语言模型(LM)，能够将英文语音输入翻译成10种其他语言，同时支持文本输入在两种语言方向上的翻译与转录。Spire通过语音离散化和仅使用42.5K小时语音数据进行继续预训练，将语音模态整合到现有的多语言LM中。具体而言，我们采用多语言LM的预训练框架，将离散化语音输入视为额外的翻译语言。这种方法不仅赋予模型语音能力，还保留了其强大的文本基性能力。我们使用的数据量远小于现有语音LM，展示了在LM适配期间将离散化语音输入作为额外语言进行集成是可行的。我们将代码和模型公开给社区。
引用
@article{arxiv.2503.10620,
title = {From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM},
author = {Kshitij Ambilduke and Ben Peters and Sonal Sannigrahi and Anil Keshwani and Tsz Kin Lam and Bruno Martins and André F. T. Martins and Marcely Zanon Boito},
journal= {arXiv preprint arXiv:2503.10620},
year = {2025}
}
备注
EMNLP 2025 (Findings) camera ready