SimulTron：面向设备的同时语音到语音翻译
音频与语音处理
2024-06-05 v1 计算与语言
机器学习
声音
摘要
同时语音到语音翻译（S2ST）有望打破沟通障碍，促进跨语言的流畅对话。然而，如何通过移动设备实现准确、实时的翻译仍是重大挑战。我们提出 SimulTron，一款新型S2ST架构，以解决此类任务。SimulTron是一种轻量级直接S2ST模型，借鉴Translatotron框架的优势，同时加入针对流式操作及可调固定延迟的关键改进。我们的实验表明，SimulTron在离线评估中超越Translatotron 2。此外，实时评估显示，SimulTron优于Translatotron 1。值得注意的是，SimulTron在MuST-C数据集上实现的BLEU分数和延迟均优于以往基于实时S2ST方法的结果。显著的是，我们已成功将SimulTron部署于Pixel 7 Pro设备，展示了其在设备端实现同时S2ST的潜力。
引用
@article{arxiv.2406.02133,
title = {SimulTron: On-Device Simultaneous Speech to Speech Translation},
author = {Alex Agranovich and Eliya Nachmani and Oleg Rybakov and Yifan Ding and Ye Jia and Nadav Bar and Heiga Zen and Michelle Tadmor Ramanovich},
journal= {arXiv preprint arXiv:2406.02133},
year = {2024}
}