从硬到软：通过矢量量化与统计推断理解深度网络的非线性

非线性对深度（神经）网络（DN）的性能至关重要。迄今为止，对现有众多非线性函数的理解进展甚微，但近来在理解由分段仿射且凸的非线性（如 ReLU 和绝对值激活函数以及最大池化）所起作用方面已取得进展。特别地，由这些操作构建的 DN 层可解释为具有与矢量量化（VQ）和 $K$-means 优雅联系的{\em 最大仿射样条算子}（MASO）。尽管这是良好的理论进展，但整个 MASO 方法基于非线性必须为分段仿射且凸的要求，这排除了像 sigmoid、双曲正切和 softmax 这样的重要激活函数。{\em 本文通过将确定性 MASO 与概率高斯混合模型（GMM）相联系，将 MASO 框架扩展到这些以及无限大类的新非线性。}我们表明，在 GMM 下，像 ReLU、绝对值和最大池化这样的分段仿射、凸非线性可解释为某些自然的“硬”VQ 推断问题的解，而 sigmoid、双曲正切和 softmax 可解释为相应“软”VQ 推断问题的解。我们进一步通过混合硬和软 VQ 优化来扩展该框架，创建在硬、软和线性 VQ 推断之间插值的 $\beta$-VQ 推断。$\beta$-VQ DN 非线性的一个主要例子是{\em swish}非线性，它在一类计算机视觉任务中提供最先进的性能，但却是通过实验临时开发的。最后，我们通过实验验证了我们的理论的一个重要断言，即 DN 性能可通过在其线性滤波器上强制正交性而显著改善。