稀疏激活网络

先前关于无监督学习的文献侧重于设计结构先验，旨在学习有意义的特征。然而，这是在未考虑所学表示的描述长度的情况下完成的，而描述长度是模型复杂性的直接且无偏的度量。在本文中，我们首先引入$\varphi$度量，基于重构精度及其内部表示的压缩程度来评估无监督模型。然后我们提出并定义两种激活函数（Identity、ReLU）作为参考基准，以及三种稀疏激活函数（top-k absolutes、Extrema-Pool indices、Extrema）作为最小化前述$\varphi$的候选结构。最后我们提出稀疏激活网络（SANs），其由共享权重的核组成，在编码期间，这些核与输入卷积，然后经过稀疏激活函数。在解码期间，相同权重与稀疏激活图卷积，随后来自每个权重的局部重构被求和以重构输入。我们在多种数据集（Physionet、UCI-epilepsy、MNIST、FMNIST）上比较使用前述五种激活函数的SANs，并表明使用$\varphi$选择的模型具有较小的描述表示长度且由可解释的核组成。