基于马赛克基序的神经网络算法简化

大规模深度学习模型非常适合压缩。在各种任务中，剪枝、量化和知识蒸馏等方法已被用于实现模型参数的大幅减少，而性能仅有轻微下降。这引出了一个核心问题：*为什么深度神经网络适合压缩？*在这项工作中，我们从算法复杂度的角度来解释这种行为。我们假设训练后模型的参数比（随机）初始化时的权重具有更多的结构，因此表现出更低的算法复杂度。此外，模型压缩方法利用这种降低的算法复杂度来压缩模型。尽管模型权重的无约束参数化，$\mathbf{w} \in \mathbb{R}^n$，可以表示任意的权重赋值，但训练过程中找到的解表现出可重复性和结构性，使其比平凡程序更容易实现。为此，我们通过$\mathcal{K}(\mathbf{w})$形式化$\mathbf{w}$的Kolmogorov复杂度。我们引入一个受约束的参数化$\widehat{\mathbf{w}}$，它将参数划分为大小为$s$的块，并限制每个块从一组$k$个可重用基序中选择，这些基序由重用模式（或马赛克）指定。由此产生的方法，$\mathit{Mosaic\text{-}of\text{-}Motifs}$ (MoMos)，提供了一种理论上合理的参数化，使优化偏向于算法上更简单的解。多个实验的经验证据表明，MoMos在训练过程中持续降低神经网络的算法复杂度，同时保持无约束模型的性能。这些结果表明，参数可压缩性不仅在训练后被观察到，而且可以从优化域中诱导出来。