输入类型与发音词典使用在低资源语音合成迁移学习中的影响
计算与语言
2023-06-02 v1 音频与语音处理
摘要
我们比较了音素标签与发音特征作为低资源语言（LRLs）语音合成（TTS）跨语言迁移学习输入的效果。基于 FastSpeech 2 与低资源语言西弗里斯兰语的实验表明，在可懂度与自然度上，使用发音特征均优于使用音素标签。对于无发音词典的 LRLs，我们提出两种新方法：a) 在训练与合成中均使用大规模多语言模型进行字素到音素（G2P）转换；b) 使用通用音素识别器创建临时词典。结果显示 G2P 方法与使用真实词典及音素识别方法表现大体相当，而音素识别方法虽通常较差，对于不太适合 G2P 方法的 LRLs 仍是可行选项。在每种方法内，使用发音特征作为输入均优于使用音素标签。
引用
@article{arxiv.2306.00535,
title = {The Effects of Input Type and Pronunciation Dictionary Usage in Transfer Learning for Low-Resource Text-to-Speech},
author = {Phat Do and Matt Coler and Jelske Dijkstra and Esther Klabbers},
journal= {arXiv preprint arXiv:2306.00535},
year = {2023}
}
备注
Accepted at INTERSPEECH 2023