SimNets：卷积网络的推广
神经与进化计算
2014-12-09 v3 机器学习
摘要
我们提出了一种深层架构，该架构推广了经典的卷积神经网络（ConvNets）。该架构称为 SimNets，由两个算子驱动：一个是相似性函数，其族包含 ConvNets 中使用的卷积算子；另一个是名为 MEX 的新型软最大 - 最小 - 均值算子，它实现了 ReLU 和最大池化等经典算子，但具备额外的能力，使得 SimNets 成为 ConvNets 的有力推广。该架构涌现出三个有趣的特性：(i) 从基本输入到隐藏层再到输出的机制包含了以指数核和高斯广义核为特例的核机，其输出单元为“特征空间中的神经元”；(ii) 在其一般形式下，该基本机制具有比核机更高的抽象层次；(iii) 使用无监督学习初始化网络是自然的。实验表明，该架构能够在网络规模比同类 ConvNets 小一个数量级的情况下，实现最先进的准确率。
引用
@article{arxiv.1410.0781,
title = {SimNets: A Generalization of Convolutional Networks},
author = {Nadav Cohen and Amnon Shashua},
journal= {arXiv preprint arXiv:1410.0781},
year = {2014}
}