通过短语级跨语言韵律迁移实现富有表现力的机器配音
音频与语音处理
2023-06-22 v2
摘要
机器配音的语音生成比传统的文本转语音方案更为复杂，因为生成的输出需要与源内容的表达力、情感和语速相匹配。捕捉并迁移韵律中的细节与变化是一项挑战。我们提出了用于富有表现力的多语言机器配音的短语级跨语言韵律迁移。所提出的短语级韵律迁移相比使用语句级全局韵律迁移的基线取得了显著的 6.2% MUSHRA 分数提升，从而将基线与富有表现力的人工配音之间的差距缩小了 23.2%，同时保持了合成语音的可懂度。
引用
@article{arxiv.2306.11662,
title = {Expressive Machine Dubbing Through Phrase-level Cross-lingual Prosody Transfer},
author = {Jakub Swiatkowski and Duo Wang and Mikolaj Babianski and Giuseppe Coccia and Patrick Lumban Tobing and Ravichander Vipperla and Viacheslav Klimkov and Vincent Pollet},
journal= {arXiv preprint arXiv:2306.11662},
year = {2023}
}
备注
Accepted to INTERSPEECH 2023