联合优化翻译与语音时序以改善自动配音中的等时性
计算与语言
2023-02-28 v1 声音
音频与语音处理
摘要
自动配音（AD）是将视频中的原始语音翻译为目标语言语音的任务。新的目标语言语音应满足等时性；即新语音应与原始视频在时间上对齐，包括口型、停顿、手势等。本文中，我们提出训练一个直接同时优化生成翻译的翻译内容及其语音时长的模型。我们表明，与先前工作相比，该系统生成的语音能更好地匹配原始语音的时序，同时简化了系统架构。
引用
@article{arxiv.2302.12979,
title = {Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing},
author = {Alexandra Chronopoulou and Brian Thompson and Prashant Mathur and Yogesh Virkar and Surafel M. Lakew and Marcello Federico},
journal= {arXiv preprint arXiv:2302.12979},
year = {2023}
}
备注
5 pages