语音降噪的复杂度缩放
音频与语音处理
2023-09-15 v1 声音
摘要
在计算复杂度对于部署基于深度学习的语音降噪模型用于设备端应用至关重要。大多数先前的研究集中于优化模型架构以满足特定的计算成本约束，常常为不同的复杂度限制创建不同的神经网络架构。本研究对语音降噪任务进行复杂度缩放，旨在将具有不同复杂度的模型整合到统一架构中。我们提出了一种基于多路径变换（MPT）的架构来处理低复杂度与高复杂度场景。一系列MPT网络在DNS挑战数据集上展现出覆盖广泛计算复杂度的高性能。此外，受自然语言处理中缩放实验的启发，我们探究了降噪任务中模型性能与计算成本之间的经验关系。当MPT网络上的乘加运算（MACs）复杂度数量从50M/s缩放到15G/s时，我们观察到PESQ-WB和SI-SNR的值随MACs的对数成比例线性增加，这可能有助于理解和应用语音降噪任务中的复杂度缩放。
引用
@article{arxiv.2309.07757,
title = {Complexity Scaling for Speech Denoising},
author = {Hangting Chen and Jianwei Yu and Chao Weng},
journal= {arXiv preprint arXiv:2309.07757},
year = {2023}
}
备注
Submitted to ICASSP2024