基于多语言 STEN-TTS 与 Bert LID 的印尼-英语双语代码切换语音合成器
计算与语言
2024-12-30 v1 人工智能
声音
音频与语音处理
摘要
多语言文本转语音系统在多种语言之间将文本转换为语音。许多情况下，文本句子可能包含不同语言的片段，称为代码切换。这在印尼尤其常见，尤其是印尼语和英语之间。尽管其重要性显而易见，但迄今为止尚无研究开发出能够处理这两种语言之间代码切换的多语言 TTS 系统。本研究针对印尼-英语代码切换进行 STEN-TTS。关键修改包括：在文本转语音转换中添加用于每词语言识别的微调 BERT 组件，以及移除基础模型中的语言嵌入。实验结果表明，代码切换模型在自然度和语音可理解性方面优于印尼语和英语基准 STEN-TTS 模型。
引用
@article{arxiv.2412.19043,
title = {Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID},
author = {Ahmad Alfani Handoyo and Chung Tran and Dessi Puji Lestari and Sakriani Sakti},
journal= {arXiv preprint arXiv:2412.19043},
year = {2024}
}
备注
Accepted at O-COCOSDA 2024