SimulSeamless: FBK 在 IWSLT 2024 同时语音翻译
计算与语言
2024-06-21 v1 人工智能
声音
音频与语音处理
摘要
本文描述了 FBK 在 IWSLT 2024 年同步翻译评估赛中的参赛情况。针对今年提交的语音到文本翻译（ST）子轨道，我们提出 SimulSeamless，通过将 AlignAtt 与 SeamlessM4T 在中等配置下组合实现。直接采用 SeamlessM4T 模型，其同步推理通过采用 AlignAtt 实现，后者是一种基于交叉注意力的 SimulST 策略，可无需对底层模型进行任何重新训练或适应即可用于同步任务。我们参与了所有共享任务语言（English->{German, Japanese, Chinese}, 和 Czech->English），取得了可接受甚至优于去年提交结果的成绩。覆盖超过 143 种源语言和 200 种目标语言的 SimulSeamless 已发布于: https://github.com/hlt-mt/FBK-fairseq/。
引用
@article{arxiv.2406.14177,
title = {SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation},
author = {Sara Papi and Marco Gaido and Matteo Negri and Luisa Bentivogli},
journal= {arXiv preprint arXiv:2406.14177},
year = {2024}
}