视听普通话电子喉语音转换
声音
2023-06-13 v1 音频与语音处理
摘要
电子喉是一种常用辅助设备，帮助患者于声带切除后恢复说话能力。尽管电子喉能像声带一样产生激励信号，电子喉（EL）语音的自然度与可懂度与自然（NL）语音差异很大。许多基于深度学习的模型已应用于电子喉语音转换（ELVC），以将 EL 语音转换为 NL 语音。在本研究中，我们提出一种多模态语音转换（VC）模型，将声学与视觉信息整合至统一网络中。我们比较了不同预训练模型作为视觉特征提取器的效果，并评估了这些特征在 ELVC 任务中的有效性。实验结果表明，所提出的多模态 VC 模型在客观与主观指标上均优于单模态模型，表明视觉信息的整合可显著提升 ELVC 的质量。
引用
@article{arxiv.2306.06652,
title = {Audio-Visual Mandarin Electrolaryngeal Speech Voice Conversion},
author = {Yung-Lun Chien and Hsin-Hao Chen and Ming-Chi Yen and Shu-Wei Tsai and Hsin-Min Wang and Yu Tsao and Tai-Shih Chi},
journal= {arXiv preprint arXiv:2306.06652},
year = {2023}
}
备注
Accepted to INTERSPEECH 2023