RadioSES：基于毫米波的音频无线电语音增强与分离系统
音频与语音处理
2022-04-15 v1 声音
信号处理
摘要
语音增强与分离是一个长期存在的问题，尤其是近期使用单麦克风取得的进展。尽管麦克风在受限环境中表现良好，但其在噪声条件下语音分离的性能会下降。本工作中，我们提出RadioSES，一种克服纯音频系统固有问题的音频无线电语音增强与分离系统。通过融合互补的无线电模态，RadioSES可估计说话人数量、解决源关联问题、分离并增强噪声混合语音，并改善可懂度与感知质量。我们进行毫米波感知以检测并定位说话人，并引入一种音频无线电深度学习框架，将分离的无线电特征与混合音频特征融合。使用商用现成设备的广泛实验表明，RadioSES优于多种最先进（SOTA）基线，在不同环境设置下均有一致的性能提升。与音视频方法相比，RadioSES提供了类似的改进（例如SiSDR约3 dB增益），并具有更低计算复杂度和更少隐私担忧的优势。
引用
@article{arxiv.2204.07092,
title = {RadioSES: mmWave-Based Audioradio Speech Enhancement and Separation System},
author = {Muhammed Zahid Ozturk and Chenshu Wu and Beibei Wang and Min Wu and K. J. Ray Liu},
journal= {arXiv preprint arXiv:2204.07092},
year = {2022}
}
备注
Project webpage: https://zahidozt.github.io/RadioSES/