通过鲁棒语言编码器增强电子喉语音可懂度
声音
2024-01-23 v2 音频与语音处理
摘要
我们提出了一种利用鲁棒语言编码器增强电子喉语音可懂度的新框架。预训练与微调方法已在该任务中被证明有效,但在大多数情况下,各类不匹配(如电子喉语音与典型语音之间的语音类型不匹配,或各阶段所用数据集间的说话人不匹配)会劣化该框架的转换性能。为解决此问题,我们提出了一种足够鲁棒的语言编码器,可将电子喉(EL)与典型语音投影至同一潜空间,同时仍能提取准确的语言信息,从而构建统一表征以减少语音类型不匹配。此外,我们将 HuBERT 输出特征引入所提框架以减小说话人不匹配,使得在预训练期间能有效利用大规模并行数据集。我们表明,与使用梅尔谱图输入输出特征的传统框架相比,所提框架使模型能合成可懂度更高且听感更自然的语音,字符错误率显著改善 16%、自然度得分提升 0.83。
引用
@article{arxiv.2309.09627,
title = {Electrolaryngeal Speech Intelligibility Enhancement Through Robust Linguistic Encoders},
author = {Lester Phillip Violeta and Wen-Chin Huang and Ding Ma and Ryuichi Yamamoto and Kazuhiro Kobayashi and Tomoki Toda},
journal= {arXiv preprint arXiv:2309.09627},
year = {2024}
}
备注
Accepted to ICASSP 2024. Demo page: lesterphillip.github.io/icassp2024_el_sie