ON-TRAC 联盟用于 IWSLT 2022 方言与低资源语音翻译任务的系统
计算与语言
2022-05-05 v1 声音
音频与语音处理
摘要
本文描述了 ON-TRAC 联盟为 IWSLT 2022 评测活动两项挑战赛道——低资源与方言语音翻译——所开发的翻译系统。针对突尼斯阿拉伯语-英语数据集（低资源与方言赛道），我们构建了一个端到端模型作为联合主要提交，并将其与利用大型精调 wav2vec 2.0 模型进行 ASR 的级联模型进行比较。我们的结果表明，在我们的设定中级联方法仍极具竞争力，且通过迁移学习的使用，它们可以在语音翻译（ST）上超越端到端模型。针对塔马舍克语-法语数据集（低资源赛道），我们的主要提交利用了在 234 小时塔马舍克语音频上训练的 wav2vec 2.0 模型的中间表示，而我们的对比模型则在 Conformer 语音翻译架构中使用塔马舍克语音频的法语音素转写作为输入，并在自动语音识别、ST 和机器翻译损失上联合训练。我们的结果强调，与大型现成模型相比，在较小规模目标数据上自监督训练的模型对低资源端到端 ST 精调更为有效。结果也说明，即便是近似的音素转写也能改善 ST 分数。
引用
@article{arxiv.2205.01987,
title = {ON-TRAC Consortium Systems for the IWSLT 2022 Dialect and Low-resource Speech Translation Tasks},
author = {Marcely Zanon Boito and John Ortega and Hugo Riguidel and Antoine Laurent and Loïc Barrault and Fethi Bougares and Firas Chaabani and Ha Nguyen and Florentin Barbier and Souhir Gahbiche and Yannick Estève},
journal= {arXiv preprint arXiv:2205.01987},
year = {2022}
}
备注
IWSLT 2022 system paper