使用全局注意力局部循环网络的高效低成本时域音频分离
音频与语音处理
2021-01-14 v1 人工智能
机器学习
声音
信号处理
摘要
近期关于时域音频分离网络（TasNets）的研究为语音分离带来了巨大成功。然而，传统的TasNets难以满足工业应用中的内存与延迟约束。对此，我们设计了一种低成本高性能架构，即全局注意力局部循环（GALR）网络。与双路径RNN（DPRNN）类似，我们首先将特征序列切分为2D片段，然后沿片段内和片段间两个维度处理序列。我们的主要创新在于，在沿片段间维度循环处理的特性之上，GALR对片段间维度的序列施加自注意力机制，从而聚合上下文感知信息并实现并行化。我们的实验表明，GALR是一种明显比先前工作更有效的网络。一方面，其参数仅1.5M，即以低得多的成本实现了可比的分离性能，相对于DPRNN运行时内存减少36.1%、计算操作减少49.4%。另一方面，在与DPRNN相近的模型规模下，GALR在三个数据集上一致优于DPRNN，特别是在基准WSJ0-2mix任务中SI-SNRi绝对提升达2.4dB的显著幅度。
引用
@article{arxiv.2101.05014,
title = {Effective Low-Cost Time-Domain Audio Separation Using Globally Attentive Locally Recurrent Networks},
author = {Max W. Y. Lam and Jun Wang and Dan Su and Dong Yu},
journal= {arXiv preprint arXiv:2101.05014},
year = {2021}
}
备注
Accepted in IEEE SLT 2021