利用目标因子与辅助计数器改进等时机器翻译
计算与语言
2023-05-23 v1 声音
音频与语音处理
摘要
为自动配音翻译语音时，机器翻译需满足等时性，即翻译后语音的时长需与源语音对齐。我们在 transformer 模型中引入目标因子，以联合预测目标语言音素序列与时长。我们还引入辅助计数器，帮助解码器在生成目标音素时跟踪时序信息。结果表明，与先前将翻译模型训练为预测音素与时长交错序列的工作相比，我们的模型提升了翻译质量与等时性。
引用
@article{arxiv.2305.13204,
title = {Improving Isochronous Machine Translation with Target Factors and Auxiliary Counters},
author = {Proyag Pal and Brian Thompson and Yogesh Virkar and Prashant Mathur and Alexandra Chronopoulou and Marcello Federico},
journal= {arXiv preprint arXiv:2305.13204},
year = {2023}
}
备注
Accepted at INTERSPEECH 2023