深度卷积神经网络中的能量传播

许多实际的机器学习任务采用非常深的卷积神经网络。如此大的深度在训练和运行网络时带来了巨大的计算挑战。因此，理解传播信号（即特征映射）中所包含的能量跨层衰减的速度至关重要。此外，期望网络生成的特征提取器具有信息性，即唯一映射到全零特征向量的信号是零输入信号。这一“平凡零集”性质可通过要求“能量守恒”来实现，即特征向量中的能量与相应输入信号的能量成正比。本文针对广泛类别的基于深度卷积神经网络的特征提取器，建立了能量守恒（以及由此的平凡零集）的条件，并刻画了相应的特征映射能量衰减速率。具体而言，我们考虑采用模非线性的通用散射网络，发现当滤波器满足温和的解析性与高通条件时（这些条件尤其涵盖 Weyl-Heisenberg 滤波器、小波、ridgelets、($\alpha$)-curvelets 和 shearlets 的各种构造），特征映射能量至少以多项式速度衰减。对于广义的小波与 Weyl-Heisenberg 滤波器族，所保证的衰减速率是指数级的。此外，我们提供了便捷估计：需要多少层才能使特征向量包含至少 $((1-\varepsilon)\cdot 100)\%$ 的输入信号能量。