基于 MaskCycleGAN 的 Whisper 语音转正常语音
音频与语音处理
2024-08-28 v1 机器学习
摘要
Whisper 语音转正常语音是当前活跃的研究领域。近期有各种基于生成式对抗网络的架构被提出。尤其是最近的研究表明，MaskCycleGAN 这种基于掩码引导且保持循环一致性的生成式对抗网络在从声谱表示进行语音转换方面表现优异。本文提出了基于 MaskCycleGAN 的方法，用于将嗓音语音转换为正常语音。我们发现，通过调节掩码参数并对信号进行语音活动检测预处理，可获得优于现有方法的更佳性能。使用 wTIMIT 数据集进行评估。采用客观指标如 PESQ 和 G-Loss 评估转换后的语音，同时进行主观评估以平均观点分数（mean opinion score）为依据。结果表明，所提出的方法显著优于现有方法。
引用
@article{arxiv.2408.14797,
title = {MaskCycleGAN-based Whisper to Normal Speech Conversion},
author = {K. Rohith Gupta and K. Ramnath and S. Johanan Joysingh and P. Vijayalakshmi and T. Nagarajan},
journal= {arXiv preprint arXiv:2408.14797},
year = {2024}
}
备注
submitted to TENCON 2024