稀疏激活网络：一种分解与压缩数据的新方法
机器学习
2022-12-02 v2 机器学习
摘要
近期关于无监督学习的文献聚焦于设计结构先验，旨在学习有意义的特徵，却未考虑表示的描述长度。在本论文中，我们首先引入度量，基于重构精度与内部表示的压缩程度来评估无监督模型。然后我们提出并定义两种激活函数（Identity、ReLU）作为参考基准，以及三种稀疏激活函数（top-k absolutes、Extrema-Pool indices、Extrema）作为最小化前述度量的候选结构。最后我们提出稀疏激活网络（SANs），其由共享权重的核组成，在编码时与输入卷积后通过稀疏激活函数；在解码时，相同权重与稀疏激活图卷积，随后来自每个权重的局部重构被求和以重建输入。我们在多个数据集（Physionet、UCI-epilepsy、MNIST、FMNIST）上比较使用上述五种激活函数的SANs，并表明利用选出的模型具有较小的表示描述长度且由可解释的核组成。
引用
@article{arxiv.1911.00400,
title = {Sparsely Activated Networks: A new method for decomposing and compressing data},
author = {Paschalis Bizopoulos},
journal= {arXiv preprint arXiv:1911.00400},
year = {2022}
}
备注
PhD Thesis in Greek, 158 pages for the main text, 23 supplementary pages for the presentation. arXiv:1907.06592, arXiv:1904.13216, arXiv:1902.11122