通过基于事件的查询改进语音增强
声音
2023-02-27 v2 音频与语音处理
摘要
现有基于深度学习的语音增强 (SE) 方法要么采用盲端到端训练，要么将说话人嵌入或音素信息显式引入 SE 网络以提升语音质量。本文将语音与噪声视为不同类型的声音事件，并提出一种用于 SE 的基于事件的查询方法。具体而言，首先利用声音事件检测 (SED) 任务预训练出能区分语音与噪声的代表性语音嵌入；随后将这些嵌入聚类为固定的黄金语音查询，以辅助 SE 网络从含噪音频中增强语音。黄金语音查询可离线获取，并能泛化至不同的 SE 数据集与网络。因此，该方法几乎不引入额外复杂度，且无需针对每位说话人注册。实验结果表明，相较基线方法，所提方法取得显著增益，且黄金查询对不同数据集具有良好泛化性。
引用
@article{arxiv.2302.11558,
title = {Improving Speech Enhancement via Event-based Query},
author = {Yifei Xin and Xiulian Peng and Yan Lu},
journal= {arXiv preprint arXiv:2302.11558},
year = {2023}
}
备注
Accepted by ICASSP2023