原始音频卷积神经网络中的不稳定性

基于波形的深度学习为何如此困难？尽管已有大量尝试训练卷积神经网络（convnets）用于滤波器组设计，它们往往无法超越手工设计的基线。这些基线是线性时不变系统：因此，它们可以用具有宽感受野的卷积神经网络逼近。然而在实践中，基于梯度的优化会导致次优逼近。在本文中，我们从初始化角度研究这一现象。我们提出了具有随机高斯权重的 FIR 滤波器组能量响应的大偏差理论。我们发现，对于大滤波器与局部周期输入信号，偏差会恶化，而这两者对于音频信号处理应用而言都是典型情况。数值模拟与我们的理论一致，并表明卷积层的条件数在滤波器数量与长度之间遵循对数缩放律，这让人联想到离散小波基。