CMU 的 IWSLT 2024 同步语音翻译系统
计算与语言
2024-08-15 v1 人工智能
摘要
本文描述了 CMU 提交给 IWSLT 2024 同步语音翻译（SST）任务的方案，用于将英语语音流式翻译为德语文本。我们的端到端语音转文本（ST）系统集成了 WavLM 语音编码器、模态适配器和 Llama2-7B-Base 模型作为解码器。我们采用两阶段训练方法：首先对齐语音和文本的表示，然后进行完整微调。两个阶段均在 MuST-c v2 数据上以交叉熵损失进行训练。我们使用简单的固定保持策略将离线 ST 模型适配为 SST。实验表明，我们的模型在 MuST-C-v2 tst-COMMON 上获得了 31.1 的离线 BLEU 分数，以及在 2 秒延迟下获得 29.5 的 BLEU 分数。
引用
@article{arxiv.2408.07452,
title = {CMU's IWSLT 2024 Simultaneous Speech Translation System},
author = {Xi Xu and Siqi Ouyang and Brian Yan and Patrick Fernandes and William Chen and Lei Li and Graham Neubig and Shinji Watanabe},
journal= {arXiv preprint arXiv:2408.07452},
year = {2024}
}