稀疏深度学习的后验集中性

Spike-and-Slab 深度学习 (SS-DL) 是 Dropout 的一种完全贝叶斯替代方案，旨在提升深度 ReLU 网络的泛化能力。这种新型正则化方法能够以可证明的方式恢复具有未知平滑度的平滑输入-输出映射。事实上，我们证明了后验分布以接近 $\alpha$-Hölder 平滑映射的极小化极大速率集中，其表现就如同我们提前知晓平滑度水平 $\alpha$ 一样。我们的结果揭示了深度神经网络架构设计的原理，即深度、宽度和稀疏度水平的选择。这些网络属性通常依赖于未知的平滑度才能达到最优。我们通过完全贝叶斯构造规避了这一限制。附带地，我们证明了 SS-DL 不会过拟合，因为后验集中在具有更少（直至最优数量）节点和连边的较小网络上。我们的结果从贝叶斯视角为深度 ReLU 网络提供了新的理论依据。