FASST: 基于大语言模型的快速同步语音翻译
计算与语言
2024-08-20 v1 人工智能
摘要
同步语音翻译（SST）接收流式语音输入并实时生成文本翻译。现有方法要么因重新计算输入表示而具有高延迟，要么在翻译质量上落后于离线语音翻译。在本文中，我们提出了 FASST，一种用于流式语音翻译的快速大语言模型方法。我们提出了分块因果语音编码和一致性掩码，使得流式语音输入可以增量式编码而无需重新计算。此外，我们开发了一种两阶段训练策略来优化 FASST 的同步推理。我们在 MuST-C 数据集上评估了 FASST 和多个强先验模型。实验结果表明，FASST 实现了最佳的质量-延迟权衡。在相同延迟下，其英语到西班牙语翻译性能超越了先前最佳模型，平均高出 1.5 BLEU。
引用
@article{arxiv.2408.09430,
title = {FASST: Fast LLM-based Simultaneous Speech Translation},
author = {Siqi Ouyang and Xi Xu and Chinmay Dandekar and Lei Li},
journal= {arXiv preprint arXiv:2408.09430},
year = {2024}
}