一种以带噪与增强语音为训练目标的无纯净语音语音增强训练与推理策略
声音
2023-05-23 v3 人工智能
计算与语言
机器学习
多媒体
音频与语音处理
摘要
缺乏纯净语音是语音增强系统开发面临的一个实际挑战，这意味着其训练准则与评估指标之间不可避免地存在不匹配。针对这一不利情况，我们提出了一种训练与推理策略，通过改进先前提出的带噪目标训练（NyTT），额外使用增强语音作为目标。由于域内噪声与外部噪声的同质性是 NyTT 有效性的关键，我们通过重新混合 1）教师模型估计的语音和噪声以进行增强目标训练，或 2）原始带噪语音和教师模型估计的噪声以进行噪目标训练，来训练各种学生模型。实验结果表明，我们提出的方法优于多个基线，尤其是在教师/学生推理模式下，预测的纯净语音通过教师模型和最终学生模型依次导出。
引用
@article{arxiv.2210.15368,
title = {A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech},
author = {Li-Wei Chen and Yao-Fei Cheng and Hung-Shin Lee and Yu Tsao and Hsin-Min Wang},
journal= {arXiv preprint arXiv:2210.15368},
year = {2023}
}
备注
Accepted by Interspeech 2023