SPGM：优先局部特征以提升语音分离性能
音频与语音处理
2024-03-12 v2 声音
摘要
双路径是语音分离模型（如 Sepformer）的流行架构，其将长序列分割为重叠块，通过帧内块和帧间块分别建模块内局部特征和块间全局关系。然而，研究发现构成双路径模型一半参数的帧间块对性能贡献极小。因此，我们提出单路径全局调制（SPGM）块来替代帧间块。SPGM 因其结构得名：由一个无参数全局池化模块和一个仅占模型总参数 2% 的调制模块组成。SPGM 块使模型中所有 transformer 层都致力于局部特征建模，令整体模型成为单路径。SPGM 在 WSJ0-2Mix 上取得 22.1 dB SI-SDRi，在 Libri2Mix 上取得 20.4 dB SI-SDRi，分别超越 Sepformer 性能 0.5 dB 和 0.3 dB，并以最多少 8 倍的参数匹配近期 SOTA 模型性能。模型和权重发布于 huggingface.co/yipjiaqi/spgm
引用
@article{arxiv.2309.12608,
title = {SPGM: Prioritizing Local Features for enhanced speech separation performance},
author = {Jia Qi Yip and Shengkui Zhao and Yukun Ma and Chongjia Ni and Chong Zhang and Hao Wang and Trung Hieu Nguyen and Kun Zhou and Dianwen Ng and Eng Siong Chng and Bin Ma},
journal= {arXiv preprint arXiv:2309.12608},
year = {2024}
}
备注
This paper was accepted by ICASSP 2024