深度卷积特征提取网络中的拓扑缩减

深度卷积神经网络(CNNs)在实践中采用潜在数百层和 $10$,$000$s 个节点。此种网络规模由于需要执行大量卷积而带来显著计算复杂度；此外，需要学习和存储大量参数。因此，非常深和宽的CNN可能不适合在严重资源受限的应用中运行，例如低功耗嵌入式和移动平台。本文旨在理解CNN拓扑结构，特别是深度和宽度，对网络特征提取能力的影响。我们针对采用Weyl-Heisenberg滤波器或小波、模非线性、无池化的散射网络类解决此问题。Wiatowski等人2017年的指数特征映射能量衰减结果推广到 $\mathcal{O}(a^{-N})$，其中任意衰减因子 $a>1$ 可通过适当选择Weyl-Heisenberg原型函数或母小波实现。然后我们展示如何设计固定(可能较小)深度 $N$ 的网络，以保证 $((1-\varepsilon)\cdot 100)\%$ 的输入信号能量包含在特征向量中。基于操作显著节点的概念，我们部分严格部分启发式地刻画了(有效)带限输入信号、带限滤波器和特征映射对称性对拓扑缩减的效应。最后，对于基于Weyl-Heisenberg滤波器的网络，我们确定了在固定网络深度 $N$ 下使每层操作显著节点平均数量最小的原型函数带宽。