ESPnet-ST-v2：多用途语音翻译工具包
声音
2023-07-10 v3 计算与语言
音频与语音处理
摘要
ESPnet-ST-v2 是开源 ESPnet-ST 工具包的改版，其必要性源于语音翻译社区日益广泛的兴趣。ESPnet-ST-v2 支持 1）离线语音到文本翻译（ST）、2）同步语音到文本翻译（SST）和 3）离线语音到语音翻译（S2ST）——每项任务都支持多种方法，这使 ESPnet-ST-v2 区别于其他开源语音翻译工具包。该工具包提供最先进的架构，如 transducers、混合 CTC/attention、带可搜索中间结果的多解码器、时间同步分块 CTC/attention、Translatotron 模型以及直接离散单元模型。本文中，我们描述了 ESPnet-ST-v2 的整体设计、每项任务的示例模型以及性能基准测试，该工具包已在 https://github.com/espnet/espnet 公开可用。
引用
@article{arxiv.2304.04596,
title = {ESPnet-ST-v2: Multipurpose Spoken Language Translation Toolkit},
author = {Brian Yan and Jiatong Shi and Yun Tang and Hirofumi Inaguma and Yifan Peng and Siddharth Dalmia and Peter Polák and Patrick Fernandes and Dan Berrebbi and Tomoki Hayashi and Xiaohui Zhang and Zhaoheng Ni and Moto Hira and Soumi Maiti and Juan Pino and Shinji Watanabe},
journal= {arXiv preprint arXiv:2304.04596},
year = {2023}
}
备注
ACL 2023; System Demonstration