用于单通道源分离的循环神经网络上的增量二值化
音频与语音处理
2019-08-26 v1 机器学习
声音
信号处理
摘要
本文提出一种用于单通道源分离任务的按位门控循环单元（BGRU）网络。循环神经网络（RNN）在其单元内需要多组权重，与全连接网络相比显著增加了计算成本。为缓解这一增加的计算量，我们聚焦于 GRU 单元，并使用二值化值与按位运算对前馈过程进行量化。BGRU 网络分两阶段训练。实值权重被预训练并迁移至按位网络，随后被增量二值化以最小化由突然引入量化可能导致的潜在损失。由于所提出的二值化技术仅将少量随机选择的参数转换为其二进制版本，它使网络训练过程有机会温和地适应部分量化的网络版本。最终通过迭代中增量增加二值化数量来实现完全二值化。我们的实验表明，所提出的 BGRU 方法产生的源分离结果优于实值全连接网络，均值信失真比（SDR）为 11-12 dB。即使层数更少，完全二值化的 BGRU 仍比按位神经网络（BNN）高出 1-2 dB。
引用
@article{arxiv.1908.08898,
title = {Incremental Binarization On Recurrent Neural Networks For Single-Channel Source Separation},
author = {Sunwoo Kim and Mrinmoy Maity and Minje Kim},
journal= {arXiv preprint arXiv:1908.08898},
year = {2019}
}
备注
5 pages, 1 figure, 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2019)