频率门控：改进时频域语音增强的卷积神经网络
声音
2020-11-10 v1 神经与进化计算
音频与语音处理
摘要
传统卷积神经网络（CNN）的优势之一是其固有的平移不变性。然而，对于时频域中的语音增强任务，由于频率方向上缺乏不变性，该性质无法被充分利用。本文提出通过引入一种称为频率门控（Frequency Gating）的方法来弥补这一低效性，该方法为 CNN 的核计算乘性权重，以使其依赖于频率。我们探讨了若干机制：时间门控，其权重依赖于先前时间帧；局部门控，其权重基于单个时间帧及其相邻帧生成；以及频率向门控，其中每个核被分配一个独立于输入数据的权重。使用带跳跃连接的自编码器神经网络的实验表明，局部门控与频率向门控均优于基线，因此是改进基于 CNN 的语音增强神经网络的可行途径。此外，本文引入了基于扩展短时客观可懂度分数（ESTOI）的损失函数，我们表明其优于标准均方误差（MSE）损失函数。
引用
@article{arxiv.2011.04092,
title = {Frequency Gating: Improved Convolutional Neural Networks for Speech Enhancement in the Time-Frequency Domain},
author = {Koen Oostermeijer and Qing Wang and Jun Du},
journal= {arXiv preprint arXiv:2011.04092},
year = {2020}
}