基于球谐函数注入进行方向编码的高效多通道语音增强
声音
2023-09-21 v1 音频与语音处理
摘要
多通道语音增强利用多个麦克风捕获空间线索来提取语音。有效利用方向信息是多通道增强的关键。深度学习在多通道语音增强方面展现出巨大潜力，通常直接以短时傅里叶变换（STFT）作为输入。为充分利用空间信息，我们引入一种方法，将球谐变换（SHT）系数作为辅助模型输入。这些系数简洁地表示了空间分布。具体而言，我们的模型有两个编码器，一个用于 STFT，另一个用于 SHT。通过在解码器中融合两个编码器来估计增强后的 STFT，我们有效地融入了空间上下文。在 TIMIT 上针对不同噪声和混响条件的评估表明，我们的模型优于已有基准。值得注意的是，这是在更少的计算量和参数量下实现的。通过利用球谐函数融入方向线索，我们的模型高效地提升了多通道语音增强的性能。
引用
@article{arxiv.2309.10832,
title = {Efficient Multi-Channel Speech Enhancement with Spherical Harmonics Injection for Directional Encoding},
author = {Jiahui Pan and Pengjie Shen and Hui Zhang and Xueliang Zhang},
journal= {arXiv preprint arXiv:2309.10832},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2309.10393