基于自监督嵌入和感知对比拉伸提升的幅相双路径语音增强网络
声音
2025-03-28 v1 人工智能
音频与语音处理
摘要
语音自监督学习(SSL)在各种语音处理任务中取得了很大进展, 但在语音增强(SE)方面仍有提升的余地. 本文提出了 BSP-MPNet, 一个双路径框架, 将自监督特征与幅相信息结合用于 SE. 该方法首先应用感知对比拉伸(PCS)算法增强幅相谱. 然后, 一个幅相 2D 粗编码器(MP-2DC)从增强谱中提取粗特征. 下一个, 一个特征分离自监督学习(FS-SSL)模型为幅和相分量分别生成自监督嵌入. 这些嵌入被融合以创建跨域特征表示. 最终, 两个平行 RNN 增强多注意力(REMA)掩码解码器细化特征, 将其应用于掩码, 并重构语音信号. 我们在 VoiceBank+DEMAND 和 WHAMR! 数据集上评估了 BSP-MPNet. 实验结果表明, 在各种噪声条件下, BSP-MPNet 优于现有方法, 为自监督语音增强研究提供了新方向. BSP-MPNet 代码实现已在线上提供\footnote[2]{https://github.com/AlimMat/BSP-MPNet. \label{s1}}
引用
@article{arxiv.2503.21571,
title = {Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting},
author = {Alimjan Mattursun and Liejun Wang and Yinfeng Yu and Chunyang Ma},
journal= {arXiv preprint arXiv:2503.21571},
year = {2025}
}
备注
Main paper (6 pages). Accepted for publication by ICME 2025